メモ · モデルのパネル
モデルに誰であるかを伝えても、その因果の判断はほとんど変わらない
October 2026
True Causes の言語モデルのルームでは、各モデルにペルソナを与えます。賃貸に住む看護師、引退した持ち家の住人、小規模な開発業者などです。異なる人々には異なる原因が見えるのだから、その人々を演じるモデルのパネルにも見えるはずだ、という考えです。誰であるかを伝えられたモデルがその人のように答えるかどうかは、すでに知られた問いです（Argyle et al., 2023）。私たちはそれを因果の判断について検証しました。
判断に関しては、そうはなりません。21のモデルと14のペルソナを通じて、モデルに与えたペルソナによって、そのモデルがどの因果のつながりを受け入れるかが変わった度合いは、私たちが測定できる範囲ではゼロでした。どのモデルであるかによっては、大きく変わりました。
研究の内容
私たちは、住宅の手頃さに関する公開記録のルームから120のつながりを取り出しました。ルームが認定したつながり、退けたつながり、決着できなかったつながりが同じ割合になるように選んでいます。21のモデルのそれぞれがすべてのつながりに答えました。一度はモデル自身として、4回か5回は別のペルソナとしてです。ペルソナは住宅に関する12のペルソナ（賃借人と所有者、家主、都市計画担当者、開発業者、借家人組合のオーガナイザー、建設作業員など）と、二つの双子、つまり一つの事実、持ち家ではなく賃貸であることを除けば同じ人物です。各ペルソナは7つのモデルが演じました。合計119の席と14,220の答えであり、どの席もすべてのつながりに答えたので、どの答えもほかの答えに依存していません。
答えを決めたもの
つながりそのものが、ばらつき全体のおよそ半分（52%）を説明します：どのつながりがもっともらしいかについて、モデルの意見はおおむね一致します。特定のつながりについてのモデル独自の読み方が、さらに4分の1（24%）を説明します。これはどのペルソナを演じていても変わりません。モデルが全般的に「はい」と言いやすい傾向が3%を加えます。
ペルソナは何も加えませんでした。どのつながりに「はい」が付くかのばらつきのうち、ペルソナが占める割合は0.000、全般的に「はい」に傾く度合いに占める割合は0.002でした。席の答えからペルソナを当てるテストを、そのペルソナが学習時に見ていないモデルで試したところ、偶然と変わらない結果でした（6.1%対7.1%）。また、席はペルソナの特徴から予測される方向には動きませんでした。相関はゼロでした。ペルソナが答えを変えた場合、それはモデルによってつながりの1%から15%で起こり、その変わり方は無作為でした。
これはほかの研究者の発見と一致します。アノテーション作業では、ペルソナの変数はばらつきのごく一部しか説明しません（Hu & Collier, 2024）。また、システムプロンプトで指定された役割は、モデルの答えを一貫して変えるわけではありません（Zheng et al., 2024）。モデルにとって、因果の問いは尋ねている人についての問いではなく、世界についての問いとして読まれるのです。
ペルソナが変えたもの：誰が答えるか
ペルソナを与えるとモデルは「判断できない」と答えることが増えました。モデル自身としては19%だったのに対し、26%です。しかもその増え方は均等ではありませんでした。若い、低所得、賃貸、左寄り、米国外のペルソナは最大14ポイント多く棄権し、年配、右寄り、家主、高所得、持ち家のペルソナは最大13ポイント少なく棄権しました。モデルは、地位の低いペルソナを、自分の知っていることに自信のない人として演じたのです。ペルソナのプロンプトがこうしたステレオタイプを推論に持ち込むことは知られています（Gupta et al., 2024）。ペルソナを与えると拒否が大幅に増えるモデルもありました。Gemini 3.5 Flash は、ペルソナとしてはつながりの59%に「判断できない」と答え、モデル自身としては一つもそう答えませんでした。
どのモデルがよく判断するか
グラフは、各モデルを「はい」と言う頻度（横軸）と、答えがどれだけ情報を持つか（縦軸）で配置しています。インフォームドネス（informedness）は正解を知らずに、モデルどうしの一致の仕方から推定します（Dawid & Skene, 1979）。1は完全に一貫した判定者、0は何の信号も持たない答えです。これが測るのは正しさではなく、パネル全体の結論との一致です。そのため、弱いモデルと意見が異なる強いモデルは、本来より低いスコアになることがあります。
大半のモデルは識別しています。つながりの4分の1から3分の2に「はい」と答え、その答えは信号を持っています。Claude Sonnet 5.5 と DeepSeek V4 Flash はパネルと最もよく一致します。Gemma 3 4B や Command R7B のような小さなモデルが持つ信号は少なめです。Schematron は主張を判定するためではなくデータ抽出のために作られたモデルで、ほぼすべてに「判断できない」と答え、答えたものもほとんど信号を持っていません。
モデルには独自の見方があるのか？
ペルソナが答えを形づくらないのなら、モデル自身が問題について異なる理論を持っているのかもしれません。あるモデルは規制を、別のモデルは投機を原因とする、といった具合です。ばらつきの4分の1は、モデルが同じつながりを違うように読むことによるものだったので、私たちはその違いの方向を探しました。モデル自身としての答えから、各モデルと各つながりをいくつかの次元上に配置するモデルを使いました。次元として数えるのは安定しているものだけです。つまり、つながりを二つに分けてそれぞれで別々に当てはめたときに、モデルがほぼ同じ位置に来る場合です。
安定した次元は一つあり、それは理論ではありませんでした。一方の端には、「外国人投資家が購入する高級マンション」が「米国は年に60万人から120万人の移民を受け入れる」につながる、といったほとんど意味をなさないつながりがあり、弱いモデルがそれを受け入れていました。もう一方の端には、住民の票と既得権者の利害が供給を制限し続けるという一つの筋の通った仕組みがあり、強いモデルはすべてそれを受け入れていました。この次元は、モデルの判断の良さです。強いモデルは互いに近くに集まり、弱いモデルはそれぞれ独自の形でそこから外れています。
強い11のモデルの間では、研究の120のつながりで当てはめても、安定したものは何もありませんでした。つながりが少なすぎたのです。同じ11のモデルがモデル自身として答えた、ルームの全870のつながりで当てはめると違いが現れ、それは安定していました。つながりを二つに分けて別々に当てはめても、モデルはほぼ同じ位置に来ます（0.89）。
一方の端では、モデルは人々の利害から政治的決定へのつながりを受け入れます。価格上昇に対する持ち家所有者の利害が、政府による供給抑制的な変更につながる、住民の票が Proposition 13 につながる、といったものです。Gemini 3.5 Flash、Claude Sonnet 5.5、Nex、DeepSeek がそこにいます。もう一方の端では、モデルは障害から供給の仕組みへのつながりを受け入れます。規制、既得権者の利害、低価格の集合住宅を拒む自治体、財産権が、それぞれ「住宅戸数が増えれば価格は下がる」につながる、といったものです。Mistral Small、Ministral 8B、Laguna、Qwen がそこにいます。大まかに言えば、一方は住宅問題を誰が政治的に得をするかで説明し、もう一方は何が供給を妨げているかで説明します。この読み方は、両端のつながりから私たちが引き出したものです。第二の次元は二つの GPT-OSS モデルを一方の端に置きますが、そのつながりには、私たちが名前を付けられる共通のテーマはありません。
ばらつきもこれと一致します。強い11のモデルの間では、つながりそのものがばらつきの68%を説明し、21のモデルすべての場合の52%を上回ります。モデル固有の読み方は24%から8%に下がります。異なる読み方に見えたもののおよそ3分の2は、弱いモデルから来ていたのです。残りは小さくなりますが、それが上で述べた一貫した違いです。
True Causes にとっての意味
モデルのパネルが提供するのは判断であり、見方の幅は狭い。ペルソナは視点を加えません。能力の高いモデルは大半のつながりで一致し、残りでは政治による説明と供給による説明の間の線に沿って、一貫した形で異なります。それは一つの幅ではありますが、狭い幅であり、モデルの訓練のされ方によって決まっています。異なる経験を持つ人々がもたらすような見方の幅ではありません。熟議を要約するモデルについての研究も同じ方向を示しています。18のモデルを通じて、要約は少数派の立場を十分に反映しておらず（Zhu et al., 2025）、合意を見つけるために書かれた声明は、内容よりも語調によって賛同を得ることがあります（Tsai et al., 2024）。True Causes では、モデルがルームを代弁することはありません。モデルは個々のつながりを書くか判定するだけで、すべての判定は数えられ、割れた判断は割れたものとしてマップに残ります。
パネルを選ぶうえで大事なのは、まず質、次にバランスである。モデル間の最大の違いは判断の良さなので、パネルは能力の高いモデルで構成し、弱いモデルは外すべきです。能力の高いモデルの間でもファミリーごとに傾きが異なるので、パネルは複数のファミリーから選び、どの一つのファミリーもほかを数で上回らないようにすべきです。
モデルは席に着かせる前に選別すべきである。何にでも「はい」、何にでも「いいえ」、あるいは何にでも「判断できない」と答えるモデルは、判定するすべてのペアにノイズを加えます。既知のつながりで短い較正を行えば、そうしたモデルは見つかります。
判定にペルソナを使うべきではない。ペルソナが加えるのは棄権と地位のステレオタイプであり、判断の多様性は加えません。書くことは別の問いです。ペルソナを持つモデルのルームは多様なカードを書きますが、異なるモデルは異なる書き方をし、一つのモデルも尋ねられるたびに異なる書き方をします。そのため、カードが多様だというだけでは、ペルソナが何かをしたことは示されません。検証方法は、ここで判定について使ったものと同じです。同じモデルにペルソナありとなしで原因を書かせ、それぞれが生み出す異なる原因の数を数えます。
人のルームは違う。人がもたらすのは自分が見てきたものであり、それを見たかもしれない誰かの説明ではありません。この研究はそれに反することは何も言っていません。言っているのは、賃借人だと伝えられたモデルは賃借人として暮らしたことがない、ということです。人々が何について意見を異にしているのかを知ることが目的なら、それを提供できるのは人だけです。そうしたルームでは、モデルは答えるより尋ねるほうが役に立ちます。カードについての問いを一度に一つずつ、自分の見方を持たずに投げかけること（これが本当なら何が見えるはずですか？ その間に何が起きていますか？）は、モデルの言葉を書き手に押しつけることなく、書き手が原因を明確にする助けになります。
限界
問いは一つ（住宅）、つながりは120、ペルソナはモデルごとに4つか5つで、それぞれ1回だけ答えました。この設計で捉えられるより小さな効果は表れません。ペルソナは役割の説明として書かれました。答える前にその人物になりきって推論するようモデルに求めるなど、より強くペルソナを引き出す方法なら、モデルをもっと動かすかもしれませんが、戯画化の危険も伴います（Cheng et al., 2023）。インフォームドネスが測るのは真実ではなくパネルとの一致であり、熟議の判定者として使われるモデルは、期待されるほど人と一致しません（Zhu et al., 2025）。自身と一致しているパネルでも、同じ方向に誤っている可能性はあります。能力の高いモデル間の違いは、870のつながりすべてを使ったときにだけ現れ、120では見えませんでした。そのため、より小さな違いはまだ見えていない可能性があり、住宅よりも争いの多い問いなら、モデルの意見はもっと分かれるかもしれません。
参考文献
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples.Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations.Proceedings of EMNLP 2023。
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm.Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs.Proceedings of ICLR 2024。
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations.Proceedings of ACL 2024。
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024).Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. InFindings of the Association for Computational Linguistics: EMNLP 2024。
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs.arXiv:2510.05154。