人は、質問されたからといって答えを持っているわけではない

いま「Persona Monitor」という、人間の態度や行動をシミュレーションするモデルを作っている。

そこで思った以上に時間がかかっていることがある。

質問をしたとき、その人に答えさせてよいのか。

これが意外と難しい。

生成AIは、質問をするとだいたい何か答えてくれる。

知らないことでも、それらしい答えを作ることができる。

普通にChatGPTを使っているなら便利な性質だ。

しかし、人間をモデル化しようとすると、これは困る。

「答えられない人」まで答えてしまうからだ。

デモグラフィックだけでは、人間の意見はほとんどわからない

Persona Monitorでは、まず人口統計をベースにしている。

年齢、性別、居住地域、就業状況などである。

例えば、ある40代男性をモデルの中から呼び出す。

この人に、

「生成AIサービスを利用したいと思いますか？」

と聞いてみる。

40代である。

男性である。

働いている。

ここから多少の統計的傾向は推定できるかもしれない。

しかし、それだけで、

「この人は生成AIを使いたい」

と答えさせてよいのだろうか。

たぶん駄目だ。

そこでPersona Monitorでは、その上にサイコグラフィックなレイヤーを載せている。

新しいものに挑戦することに積極的か。

変化を好むか。

他人の意見をどの程度参考にするか。

リスクをどの程度避けるか。

そうした軸を持たせる。

すると、ようやく「生成AIを使ってみたい」という態度を、その人物が持っている性質から説明できるようになってくる。

ここまでは比較的わかりやすかった。

問題はその先だった。

「わからない」と「対象ではない」は違う

例えば、

「仕事に自分のモバイル端末を持ち込んで使っていますか？」

と質問する。

就業していない人にとって、この質問はどうなるのだろう。

「いいえ」ではない。

「わかりません」でもない。

そもそも質問が適用されない。

一方、働いている人でも、自分の勤務先がBYODを認めているのかわからない人がいるかもしれない。

この場合は対象者ではあるが、答えるための情報を持っていない。

さらに、

「持ち込み可能だが使っていない」

という人もいる。

当然、

「実際に使っている」

人もいる。

全部違う。

ところが生成AIに単純に質問すると、この空白をそれらしい答えで埋めてしまう。

Persona Monitorでは、それをやってはいけない。

モデルが知らないことをAIが勝手に補った瞬間、その人物はモデルから生まれた人間ではなく、LLMがその場で創作した人間になってしまう。

人が質問に答えるまでには段階がある

この問題を考えていて、調査研究の世界には似た考え方があることを知った。

Survey Methodology、特にCASM（Cognitive Aspects of Survey Methodology）と呼ばれる研究領域では、人が調査質問に答える過程を研究している。

代表的な考え方では、

質問を理解する
→ 必要な情報を記憶から取り出す
→ 判断する
→ 回答として表現する

という段階を経る。

これを知ったとき、かなり腑に落ちた。

ただ、Persona Monitorでは、そのさらに前にもゲートが必要になる。

そもそも、この質問はこの人に適用されるのか。

私なりに並べると、こうなる。

1. この問いは自分に適用されるか
2. 問いを理解できるか
3. 答えるための経験や情報を持っているか
4. その情報から判断できるか
5. 判断した結果を回答として表現できるか

質問された瞬間に「Yes / No」が出てくるわけではない。

この途中のどこかで止まる人がいる。

そして、どこで止まったのかにも意味がある。

質問にも種類がある

さらに考えると、質問そのものにも種類がある。

「現在働いていますか」

これは状態についての質問。

「先月、生成AIを使いましたか」

これは行動についての質問。

「生成AIを使って困った経験がありますか」

これは経験についての質問。

「生成AIに好感を持っていますか」

これは態度についての質問。

「今後、生成AIを使いたいですか」

これは意図についての質問。

「生成AIの業務利用を規制すべきですか」

これは規範的な判断を求める質問になる。

同じYes / Noで答えられる質問でも、回答を作るために必要なものはまったく違う。

特に最後の質問は難しい。

「生成AIとは何か」

「業務利用とは何を指すのか」

「どんなリスクがあるのか」

「規制とは何をすることなのか」

そうした前提をどの程度理解しているかによって、回答の意味が変わってしまう。

「内閣を支持しますか」は、なぜ誰にでも聞けるのか

一方で、

「あなたは現在の内閣を支持しますか」

という質問がある。

これは少し性質が違う。

日本国民であれば、政府の予算や政策について詳しく知らなくても答えてよいと思う。

スーパーへ行ったら食品が高くなっていた。

税金や社会保険料が重いと感じる。

ニュースを見て首相に好感を持った。

最近なんとなく景気が悪い気がする。

そんな「半径5メートル」の経験だけで、

「今の政府はあまり好きじゃない」

と答えても構わない。

内閣支持率が測ろうとしているのは、政策理解度ではなく、その時点で国民が持っている総合的な態度だからだ。

つまり、

質問によって、回答成立に必要な条件が違う。

これはPersona Monitorを作る上で、とても重要なことになってきた。

「わからない」は欠損値ではない

もう一つ重要なことがある。

「わからない」を消してはいけない。

データ処理では、UnknownやNAは邪魔なデータとして扱われることがある。

しかし社会を考えるなら、

誰が、何について、なぜ判断できないのか

それ自体が重要な情報になる。

さらに現実の人間は、判断材料がないからといって必ず「わからない」と答えるわけでもない。

よく知らない。

でも質問された。

だから、なんとなく答える。

これも人間である。

調査回答の研究には、認知的な負担を避けるために「十分これでいい」と回答してしまう satisficing という考え方もある。

だとすると、

その人が何を知っているか

と、

実際に何と答えるか

さえ、別々にモデル化しなければならない。

自分自身にも、答えられない質問をしている

ここまで考えて、Persona Monitorとは関係のないことに気づいた。

私は普段、自分自身にも質問をしている。

「この事業は成功するだろうか」

「この判断で正しいのだろうか」

「これからどうするべきだろう」

そして、答えが出なくて何度も考える。

しかし、その中には、

今の自分には回答できない質問

が混ざっているのではないか。

未来の市場について必要な情報を持っていないのに、

「この事業は成功するか」

と100回考えても、答えは出ない。

だったら問いを変える。

「成功するか判断するために、今足りない情報は何か」

これは答えられるかもしれない。

「その情報を1週間で取得するには、何を試せばいいか」

これも答えられる。

考えることをやめる必要はない。

むしろ、

これは考え続ければ解ける問題なのか

を先に判断する。

答えられないなら、情報を取りに行く。

試す。

誰かに聞く。

保留する。

あるいは不確実なまま暫定的に決める。

Persona Monitorに「無理に答えさせない」仕組みを作っていたら、

自分自身にも、無理に答えさせなくてよかった

ということに気づいた。

人間は、質問されたからといって、必ず答えを持っているわけではない。

それはAIも、人間も、自分自身も同じなのだと思う。