· 技術革新とデジタルトレンド · シリーズ: テクノロジーの現在地 · 読了目安 7 分
100本並列は高速化ではない。反証の量産設備だ
Persona Monitorという、人間の態度や行動をシミュレーションするモデルを作っている。
最近、その開発方法が少し変わってきた。
これまでは、
Persona Monitorを完成させるためにテストしていた。
モデルを作る。
テストする。
おかしければ修正する。
またテストする。
普通のソフトウェア開発とそれほど変わらない。
ところが、モデルが複雑になるにつれて、少し違うことを考えるようになった。
「どのモデルが正しいのか」を考えて、一つずつ試す必要があるのだろうか。
AIを使えば、仮説の異なるモデルを大量に作り、並列に走らせることができる。
100本でもいい。
だったら100本走らせればいい。
最初は、それを単純な高速化だと思っていた。
人間なら100回かかる実験を、AIなら並列に100回できる。
しかし、どうも違う。
100本並列の価値は、100個の中から一番良いモデルを選ぶことではない。
99個を、正当な理由で捨てられることにある。
そんなことに気づいた。
1位を選ぶための100本ではない
例えば100種類のモデルを走らせる。
従来なら、それぞれの精度を比較してランキングを作り、
「モデルCが最も高いスコアを出しました」
となるだろう。
しかし、それではあまり面白くない。
Persona Monitorで知りたいのは、
なぜ、そのモデルを捨てられるのか
である。
例えば、
あるモデルは全体の分布にはよく合う。
しかし年代別に分解すると破綻する。
別のモデルは、ある条件ではきれいに説明できる。
しかし別のデータに持っていくと再現しない。
あるモデルは過去データへの適合度が非常に高い。
しかし、どんな結果が出ても説明できてしまう。
つまり反証できない。
別のモデルは一つの調査では成立するが、質問方法の異なる調査へ移した途端に説明力を失う。
すると100本の実験結果は、
「1位はこれでした」
ではなく、
38本は構造的な矛盾によって棄却。
28本は未知データで再現せず棄却。
19本は反証可能性を持たないため棄却。
11本は異なる測定方法に移したところで破綻。
残った4本を次の実験へ。
という形になる。
こちらの方が、ずっと研究らしい。
最後に残った一本も「正解」ではない
ここも重要だと思っている。
99本を落として最後に一本残ったとしても、
「これが正しいモデルです」
とは言えない。
正確には、
「現在持っている証拠では、まだこのモデルを落とせていない」
だけである。
明日、新しいデータを入れたら落ちるかもしれない。
違う国で試したら成立しないかもしれない。
10年後には説明できなくなるかもしれない。
それでいい。
モデルを守ることが目的ではない。
落とせるモデルを落とし続けて、それでも生き残るものを次の実験へ送る。
そう考えると、AIによる大量並列実験の意味が少し違って見えてくる。
エジソンの話を思い出した
この話をしていて、エジソンについてよく語られる逸話を思い出した。
「何度も失敗したのではなく、うまくいかない方法を発見した」という趣旨の話である。
史実としてどの表現を本人が実際に使ったのかはさておき、考え方としては面白い。
100回の実験をして99回失敗した。
普通なら成功率1%である。
しかし研究として考えるなら、
99通りの仮説を棄却できた。
とも言える。
重要なのは、単に失敗することではない。
なぜ失敗したのかを保存すること。
この条件では成立しない。
このデータでは再現しない。
この仮説では説明できない。
その失敗理由が構造化されて残れば、次の実験では同じ穴を掘らなくて済む。
失敗がデータになる。
AIは「試行錯誤」のコストを変えた
ここで、AI時代の研究開発について少し考えた。
ロボットや自動運転の開発では、大量のシミュレーションを行う。
現実世界で自動車を100万回事故に遭わせることはできない。
しかしシミュレーションの中なら、危険な状況を大量に作ることができる。
右から自転車が飛び出したら。
豪雨だったら。
センサーの一つが故障していたら。
歩行者が予測不能な動きをしたら。
あり得る条件を大量に作り、
どこでモデルが壊れるかを探す。
これは「正解を探す」というより、
失敗する世界を大量に生成する
ことに近い。
生成AIによって、似たことがもっと広い研究領域でもできるようになるのではないか。
これまで人間が仮説を一つ考え、
実験を設計し、
結果を見て、
次の仮説を考えていた。
このサイクルの一部をAIが担えば、仮説そのものを大量に生成できる。
そして計算資源が許せば、それらを並列に検証できる。
すると人間の仕事も変わる。
「最も正しそうな仮説を考える」ことだけではなく、
何が起きたら、その仮説を捨てられるのかを設計する。
こちらが重要になる。
次に必要なのはデータではなく「殺し分ける実験」
Persona Monitorでも、まさにこの問題にぶつかっている。
仮にモデルCとモデルDが残ったとする。
そこで、
「もっと実データを入れてみよう」
と考えたくなる。
でも、その前にやることがある。
どんなデータがあれば、CとDのどちらかを棄却できるのか。
それを考える。
CでもDでも同じ結果になるデータを100万件入れても、二つのモデルを区別することはできない。
だったら必要なのはデータ量ではない。
二つの仮説が異なる予測をする条件を探すこと。
その条件を作り、実験する。
ここまで来ると、Persona Monitorそのものの位置づけも変わってくる。
Persona Monitorを作るために実験するのではない
最初は、
Persona Monitorを完成させるために実験していた。
しかし、だんだん逆になってきた。
Persona Monitorそのものを、仮説を試す実験台として使い始めている。
人間の態度はどう形成されるのか。
情報によってどの程度変化するのか。
新しいものを受け入れる人と受け入れない人の違いは何なのか。
デモグラフィックとサイコグラフィックは、それぞれどこまで行動を説明できるのか。
モデルを一つ決めて、その中で答えを出すのではない。
異なる説明をするモデルを大量に作り、
ぶつけ、
壊す。
そして、壊れなかったものについて、さらに壊す方法を考える。
そういう装置になり始めている。
100本並列は「高速化」ではない
AIによって100本のモデルを並列に走らせられる。
それを聞くと、
「研究開発が100倍速くなる」
と考えたくなる。
もちろん、それもある。
でも本当の変化は別のところにあるのかもしれない。
人間は時間がかかるから、最初から「当たりそうな仮説」を選ばなければならなかった。
100回試せないから、賢く一本を選ぶ必要があった。
しかし100本試せるなら、事情が変わる。
あえて間違っているかもしれない仮説まで試せる。
境界にあるモデルも試せる。
極端なモデルも混ぜられる。
そして、それぞれについて、
なぜ成立しなかったのか
を記録できる。
AIによる大量並列実験は、
正解の量産設備ではない。
むしろ、
反証の量産設備なのかもしれない。
100個から1位を選ぶためではない。
99個を、正当な理由で捨てるために使う。
最近Persona Monitorを作りながら、そんなことを考えている。
