アンケート自由記述の分析はAIに任せられる？回答件数で選ぶ4つの方法と、生成AIで分析する手順

選択式の設問は、集計すればそのままグラフにできます。一方の自由記述は、そのままでは集計できず、1件ずつ読んで「価格への不満：〜件」のように数えられる形へ直す作業が要るため、非常に時間がかかる作業が必要です。

そこで生成AIの活用を考えますが、その分類が正しいのか確かめる方法がわからず、レポートに載せてよいのかも判断がつかない、という迷いを持つ方は多いのではないでしょうか。

結論だけ先にお伝えすると、AIに全て任せられるのは「分類の実行」であり、一部の「分類の基準を決める」工程は現状、人が行う必要があります。多くの場合、この2つを区別せずにAIに丸投げすると、どうやってその正確性を確かめていいかすらわかりません。

本記事では、自由記述のAIを活用した分析方法を4つ紹介するとともに、生成AIで分類する5つの手順と、AIに任せてよい工程と人が決める工程の線引きまでを解説します。

アンケートの自由記述が、手つかずで残る理由

選択式の回答が最初から「A・B・C」という数えられる形で集まるのに対し、自由記述は表現も長さも人によってバラバラの文章のままです。そのため集計の前に、回答を数えられる形へ変換する工程が必要になります。

たとえば、「味は気に入っているけれど、毎日続けるには少し高い」という回答は、味への評価として数えるのか、価格への不満として数えるのか、それとも両方に数えるのか、集計の軸を決めなければ集計できません。こうした判断が、回答の数だけ繰り返されます。

この変換は回答を読んで意味を判断する作業のため、人手に頼るかぎり、かかる時間は調査の対象者数にほぼ比例して増えていくのが実情です。非常に手間がかかる作業のため、手つかずで残してしまった経験がある方も多いのではないでしょうか。

自由記述の分析は「件数を数える」と「1件ずつ読む」の2つに分かれる

ひと口に「自由記述の分析」と言っても、その中身は1つではありません。1つめは、回答を「価格への不満」「使い勝手への要望」といったグループに割り振り、それぞれが何件あるのかを数える作業です。

2つめは、1件の回答をじっくり読んで、想定していなかった使われ方や不満の背景に気づきを得る作業で、こちらは件数を数えることを目的としません。新商品の想定外の使われ方や、顧客が離れるきっかけになった小さな不満は、件数を数える前の、この1件ずつ読む作業の中で見つかるものです。

AIが役立つ度合いはこの2つで大きく異なり、本記事で主に扱う「数えるための分類」では作業時間を大きく減らせる一方、後者の1件ずつ読んでどの回答を重く見るかを判断する作業は、AIに任せることができません。

AIは「意外性のある回答」や「外れ値に当たる回答」を判断することが苦手なためで、この作業はまだまだ人手に頼る必要があります。

自由記述の分析方法は4つ。回答件数で選ぶ

1つ目の「自由記述を数えられる形にする」分析の方法は、大きく4つあります。それぞれの手法は良し悪しがあるため、まず手元の回答件数で候補を絞り、件数だけで決まらないところは調査の目的で選ぶ、という順番で考えるのがポイントです。

Excelでの目視分類と生成AIは、専用のツールを導入しなくても始められるため、最初の選択肢になりやすい方法です。一方、テキストマイニングは頻出語の傾向をつかむことに向くものの、「なぜそう書いたのか」という文脈までは読み取れません。文脈を知りたい部分は、生成AIに分類させるか、人が原文を読んで補う必要があります。

数十件・数百件・数千件で、選ぶものが変わる

数十件であれば、手法を選ぶより先に、全件をそのまま読んでしまうのが、いちばんの近道です。その場で読み切れる分量なら、AIに指示文を用意して出力を確かめる手間のほうが、かえって大きくなりかねません。

全件を読み切れない件数（目安は数百件前後から）になると、生成AIによる分類か、アフターコーディングが選択肢に入ってきます。この2つで迷ったときの決め手は件数ではなく、想定外の意見をどこまで細かく拾いたいか、という目的のほうです。数千件の規模では、テキストマイニングで全体の傾向をつかんだうえで、気になる部分だけを生成AIや人の目で深掘りする、という組み合わせが現実的でしょう。

どの件数帯でも、次の章で説明する「分類の基準は人が決める」という原則は変わりません。

生成AIで自由記述を分析する5つの手順

ここからは、ChatGPTやClaudeのような対話型の生成AIを使って、自由記述を分類する手順を5つに分けて説明します。

なかでも要になるのは③で、分類の基準を人が決めて文字にし、以後は変えずに使えるように固定する工程です。全体の流れとしては、①と②で準備をし、③で基準を固め、④と⑤で実行と確認を順に進めます。

①個人情報を外し、回答にIDを振る

①でやることは、分析そのものではなく準備です。具体的には、氏名やメールアドレスといった特定の個人がわかる記述を取り除いたうえで、各回答に「A001」のような通し番号（ID）を振ります。

個人情報を含んだ回答を、外部のAIサービスへそのまま渡すわけにはいきません。IDを振らずに進めると、分類結果がどの回答から来たのかたどれなくなり、後から確かめる手段そのものを失ってしまう点に注意が必要です。

②一部だけを読ませて、分類の案を作る

次に、全件をいきなり読ませるのではなく、まず30〜50件ほどの回答だけをAIに渡して、「どんな分類ができそうか」の案を出させます。指示は下記のようなイメージです。

以下はアンケートの自由記述の回答です。「〜」という軸で分類するにあたって回答内容として近いものをまとめて、分類案を10個前後挙げてください。各分類には、当てはまる回答の例を2〜3件添えてください。

この段階でできた分類は、まだ採用が決まっていない「仮の案」にすぎません。ここを飛ばして最初から全件を分類させると、「品質」「価格」「その他」のような大まかすぎる分類が返ってきて、手元の回答に合わないことが多くなります。

③分類の基準を人が決めて、固定する

5つの手順の中で、ここだけはAIに渡せない、人の仕事です。②で出た案を土台に、どの分類を採用するか、それぞれの分類に何を含めて何を含めないかを自分の言葉で決め、分類名・定義・当てはまる回答の例文を書き出して固定します。何を分けたいのかは調査の目的によって決まるものであり、その目的を知らないAIには決めようがないためです。

たとえば「価格への不満」という分類ひとつでも、「高い」という回答だけを入れるのか、「値上げで買う回数を減らした」という行動の変化まで含めるのかで、集計結果は変わります。

基準を固定しないまま進めると、AIが実行のたびに違う基準で分類してしまい、結果を比べることも誤りを見つけることもできません。必ずAIに対して明確な基準を渡すようにしましょう。

④全件を同じ基準で分類させる

基準が固まったら、③で書き出した分類名・定義・例文をそのまま指示文（プロンプト）に入れて、全件を分類させます。このときの指示は、下記のようにAIが新しい分類名を勝手に作れない形にしておくのが基本です。

次の基準だけを使って、各回答に分類名を1つ付けてください。どれにも当てはまらない場合は『その他』とし、新たに分類名は作成しないでください。

「その他」に集まった回答は、捨てずに、あとで人が目を通す前提にしておきます。ここで基準を渡さずに「いい感じに分類して」と任せてしまうと、③で決めた線引きは反映されません。

⑤件数を数え、原文に戻って確かめる

分類が終わったら、分類ごとの件数を集計するのが仕上げの工程です。年代や購入頻度といった属性ごとに件数を集計し直すと、どの層にどの分類の回答が多いのかまで見えてきます。

ただし、その数字をレポートに写す前に、AIの出力の正確性を確かめるようにしてください。分類からいくつかの回答を抜き出し、IDを頼りに原文へ戻って「この回答は本当にこの分類でよいか」を見るようにします。自分の判断と食い違う分類が目立つようであれば、③の定義に立ち返って例文を足し、分類をやり直しましょう。

この確認を飛ばすと、もっともらしい数字がそのままレポートに載り、誤った分類に気づくことができなくなってしまうため、必ず行うようにしてください。

AIの分類は、どこまで信じてよいのか

「AIの分類には誤りが含まれる可能性がある」という注意書きは、多くの解説記事で目にします。では実際のところ、どの程度任せられるのでしょうか。

手がかりになるのが、三菱総合研究所が公表している試行の結果です。同社は、住民意識調査の自由記述式回答1,000件を対象に、生成AIを使った分析を試しました。人が手で分類すると4〜5時間かかる作業に対して、生成AIでは分類や要約といった一連の出力が10分以内に終わった、というのが発表の内容です。精度の面でも、プロンプトを最適化することで、つまり分類を指示する文章を結果を見ながら書き直していくことで、同社の研究員による手動の分類を上回る精度を確認したと発表されています。

「人間もミスをする」という当たり前の事実に立ち返れば、AIの得意な作業は積極的に依頼していくべきと言えるかもしれません。

この発表は、「適切な行程と指示を与えることで、分類の実行にかかる時間は、AIで大きく減らせる」ということを示しています。ただ、自分の調査で正しく分類できているかどうかは、手元で確かめるしかないので、手順⑤の「原文に戻って確かめる」工程は必ず行うようにしましょう。

AIに任せてよい工程と、人が決める工程

ここまでの内容を、AIと人の分担として整理します。

AIに任せてよいのは基準が決まったあとの「実行」であり、人が決めるのは「何を分けたいのかという基準」と「結果を採用するかどうかの判断」です。

分類の案出し、固定した基準での全件分類、分類ごとの要約といった作業は、量が多いほどAIによる短縮の効果が大きくなります。たとえば「価格への不満」に分類された回答をまとめて要約させ、レポート本文の下書きにする、といった使い方も「実行」の範囲です。

一方で、調査の目的に照らして何を分けたいのか、出てきた数字を結論として採用するかどうかは、その目的を知っている人にしか決められません。

少数意見を消さないために

分類と集計を進めると、どうしても件数の多い分類に目が向かうでしょう。AIにも人にも、よく出てくる言葉や多数派の意見に引っ張られやすいところがあり、数件しかない回答は「その他」に紛れて見えなくなりがちです。

ただし、件数が少ないことは、重要でないことを意味しません。安全性への深刻な指摘や解約を決めた決定的な理由のような回答は、たとえ1件でも、多数の「満足」より先に対処すべき場合があります。

防ぎ方は、次の3つです。

• 件数の多い順に並べた集計表だけで判断せず、放置できない内容の回答が下位に隠れていないかを確認する

• 安全・解約・不具合にかかわる回答は、件数の集計とは別に、レポートに個別の項目として載せる

• 「その他」に入った回答には、件数が少なくても必ず人が目を通す

分析の質は、調査設計の段階で決まっている

ここまでは、すでに手元にある回答をどう分析するかという話でした。ただ、実際に自由記述を読んでいると、「参考になった」「特にない」といった一言の回答ばかりで、分類する以前に中身がない、という壁に突き当たることも多いはずです。

どれほど分析を工夫しても、回答に書かれていないことは取り出せないため、分析から得られるものの上限は、回答を集めるより前の、調査設計の段階で決まっています。

豊富な自由回答を引き出すなら、AIインタビューサービス「Spark Research」

Spark Research は、アサヒビールや日本たばこ産業（JT） などの大手メーカーも利用する、AIインタビューサービスです。

自由記述をうまく分析できるようになっても、自由記述に書かれるのは非常に簡潔な内容がほとんどで、「なぜそう感じたのか」という理由や背景は、その場で聞き返せない以上、取得することができません。

Spark Research ならアンケートのような手軽さで大人数に配信しながら、回答に応じてその場で深掘りの質問を重ねます。これにより、一言の自由記述ではなく、「なぜ」まで掘り下げた対話の記録を大量に収集できる点が特徴です。

調査の設計から分析までご一緒できますので、下記よりお気軽にお問い合わせください。

よくある質問

何件くらいからAIを使ったほうがよいですか？

明確な境目はありませんが、数十件までなら全件を読むほうが早く済むことが多いはずです。全件を読み切れない件数（目安は数百件前後）になったら、生成AIによる分類を検討する価値があります。

個人情報が入っている回答は、そのままAIに読ませてよいですか？

そのまま読ませることは避けてください。氏名・連絡先など特定の個人がわかる記述を取り除いてから渡すのが、手順の最初の工程です。あわせて、入力したデータがAIの学習に使われない設定になっているかどうかも確認しておく必要があります。

AIが作った分類をそのままレポートに載せてもよいですか？

そのまま載せることはおすすめできません。基準を人が決めたうえで分類させ、各分類から数件ずつ原文に戻って確かめてから載せる、というのが本記事で紹介した手順です。確認した過程を残しておくと、数字の根拠を聞かれたときにも答えられます。

無料のツールと有料のツールで何が変わりますか？

一般に変わるのは、1回の指示で読み込ませられる回答の量、入力したデータをAIの学習に使わせないための設定、組織で使うための管理機能などです。ただし、基準を人が決めて原文で確かめるという進め方は、どのツールを使う場合でも変わりません。

従業員アンケートの自由記述にも同じやり方が使えますか？

分類の基準を人が決めてからAIに実行させる、という考え方自体は共通です。ただし従業員アンケートには、回答者が特定されることへの配慮など、マーケティング調査とは別の注意点が多いため、本記事の対象からは外しています。