笔记 · 模型评审组
告诉模型它是谁，它的因果判断几乎不变。
2026 年 10 月
True Causes 上由语言模型组成的房间会给每个模型一个人设：一位租房的护士、一位有房的退休者、一位小开发商。这样做的想法是，不同的人看到不同的原因，而由扮演他们的模型组成的评审组也会如此。被告知自己是谁的模型，回答起来是否像那个人，这是一个已知的问题（Argyle et al., 2023）；我们在因果判断上检验了它。
就判断而言，并不像。在 21 个模型和 14 种人设中，给模型的人设对它接受哪些因果关联的影响，小到我们无法测量。而是哪个模型，影响却很大。
研究设计
我们从一个关于住房可负担性的公开记录房间中选取了 120 条关联，选取方式让房间认定的、否决的和无法确定的关联各占同等比例。21 个模型中的每一个都回答了每条关联，一次以自己的身份，四到五次以不同人设的身份：十二种住房人设（租房者和房主、一位房东、一位规划师、一位开发商、一位租户组织者、一位建筑工人等），以及两个双胞胎人设，除了一个事实之外完全相同：一个租房，一个有房。每种人设由七个模型扮演。这一共是 119 个席位和 14,220 个回答，每个席位都回答了每条关联，所以没有哪个回答依赖于另一个。
是什么决定了答案
关联本身解释了全部变异的大约一半（52%）：模型在哪些关联说得通这一点上大体一致。模型自己对特定关联的解读又解释了四分之一（24%），无论它扮演什么人设。模型说“是”的总体倾向贡献了 3%。
人设没有贡献任何东西。它在“哪些关联得到‘是’”这一变异中所占的份额是 0.000；在总体偏向“是”这一倾向中所占的份额是 0.002。一项试图根据一个席位的回答、用它未曾出现过的模型来识别人设的测试，表现并不比随机猜测更好（6.1% 对 7.1%）。而且席位也没有朝着其人设特征所预测的方向移动：相关性为零。当人设确实改变了一个回答时（视模型而定，涉及 1% 到 15% 的关联），它的改变是随机的。
这与其他人的发现一致。在标注任务中，人设变量只能解释很少的方差（Hu & Collier, 2024），系统提示中指定的角色也不会稳定地改变模型的回答（Zheng et al., 2024）。在模型看来，一个因果问题是关于世界的问题，而不是关于提问者的问题。
人设确实改变了什么：谁来回答
人设让模型更常说“无法判断”：带人设时为 26%，以自己的身份时为 19%，而且并不均匀。年轻、低收入、租房、偏左以及非美国的人设弃答更多，最多高出 14 个百分点；年长、偏右、房东、高收入和房主人设弃答更少，最多低出 13 个百分点。模型把地位较低的人设演得对自己所知更没把握。人设提示会把这类刻板印象带入推理，这是已知的（Gupta et al., 2024）。有些模型带上人设后拒答的情况要多得多：Gemini 3.5 Flash 以人设身份对 59% 的关联说“无法判断”，而以自己的身份则一条都没有。
哪些模型判断得好
图表按每个模型说“是”的频率（横轴）和它的回答有多少信息量（纵轴）来放置模型。信息度（informedness）是在不知道正确答案的情况下，根据模型彼此之间的一致程度估计出来的（Dawid & Skene, 1979）：1 表示一个完全前后一致的判断者，0 表示回答不携带任何信号。它衡量的是与整个评审组的结论是否一致，而不是正确与否，所以一个与较弱模型意见相左的强模型，得分可能低于它应得的分数。
大多数模型都有区分能力：它们对四分之一到三分之二的关联说“是”，而且它们的回答携带信号。Claude Sonnet 5.5 和 DeepSeek V4 Flash 与评审组的一致程度最高。Gemma 3 4B 和 Command R7B 等较小的模型携带的信号较少。Schematron 是一个为提取数据而不是评判主张而构建的模型，它几乎对一切都说“无法判断”，而它真正回答了的那些，几乎不携带任何信号。
模型有自己的观点吗？
如果人设不塑造答案，那么也许模型本身持有关于这个问题的不同理论，一个归咎于监管，另一个归咎于投机。四分之一的变异来自模型对同一条关联有不同的解读，所以我们去寻找这种差异的方向：用一个模型，根据各模型以自己身份作出的回答，把每个模型和每条关联放置在少数几个维度上。一个维度只有在稳定时才算数，也就是说，在关联的两半上分别拟合它时，模型要落在大致相同的位置。
有一个维度是稳定的，但它不是一种理论。一端是几乎说不通的关联，比如“被外国投资者买下的豪华公寓”导致“美国每年增加 60 万到 120 万移民”，较弱的模型接受了这些关联。另一端是一个连贯的机制：居民的选票和既得利益者的利益让供应受限，较强的模型全都接受了它。这个维度就是模型判断得有多好：强模型彼此靠得很近，而每个弱模型都以自己的方式偏离它们。
在十一个较强的模型之间，用本研究的 120 条关联拟合时，没有任何维度是稳定的。那是因为关联太少。用房间里全部 870 条关联、由同样这十一个模型以自己的身份作答来拟合时，出现了一个差异，而且它是稳定的：在关联的两半上分别拟合，模型几乎落在相同的位置（0.89）。
在一端，模型接受从人们的利益到政治决定的关联：房主在房价上涨中的利害导致政府作出抑制供应的改变，居民的选票导致第 13 号提案（Proposition 13）。Gemini 3.5 Flash、Claude Sonnet 5.5、Nex 和 DeepSeek 位于这一端。在另一端，模型接受从各种障碍到供应机制的关联：监管、既得利益者的利益、议会拒绝低成本公寓以及产权，每一项都导致“更多住房单元会降低价格”。Mistral Small、Ministral 8B、Laguna 和 Qwen 位于这一端。粗略地说，一方通过谁在政治上获益来解释住房问题，另一方通过什么阻碍了供应来解释。这种解读是我们根据两端的关联作出的。第二个维度把两个 GPT-OSS 模型都放在一端，但它的关联没有我们能说出的共同主题。
变异的分解也与此一致。在十一个较强的模型中，关联本身解释了 68% 的变异，而在全部 21 个模型中为 52%；模型特有的解读从 24% 降到了 8%：看起来像是不同解读的部分，大约三分之二来自较弱的模型。剩下的部分较小，但它就是上面那个前后一致的差异。
这对 True Causes 意味着什么
由模型组成的评审组提供的是判断，观点的范围很窄。人设不增加任何视角。能力强的模型在大多数关联上意见一致，在其余关联上的分歧前后一致，沿着政治解释与供应解释之间的一条线展开。这是一个范围，但很窄，由模型的训练方式决定：而不是经历各异的人会带来的那种观点范围。关于用模型总结审议内容的研究也指向同一方向：在 18 个模型中，总结都对少数立场代表不足（Zhu et al., 2025），而为寻求共识写出的声明，赢得认同可能更多靠语气而不是内容（Tsai et al., 2024）。在 True Causes 上，模型不代表一个房间发言。它撰写或判断单条关联，每一个判断都会被计数，而意见分裂在地图上仍作为意见分裂保留。
挑选评审组，质量第一，其次才是平衡。模型之间最大的差别在于它们判断得有多好，所以评审组应当由能力强的模型组成，弱模型不要入选。在能力强的模型中，不同的模型系列有不同的倾向，所以评审组应当取自几个系列，而且任何一个系列的数量都不应超过其余系列之和。
模型在入席之前应当经过筛查。一个对一切都说“是”、对一切都说“否”、或者对一切都说“无法判断”的模型，会给它判断的每个卡片对增加噪声。在已知关联上做一次简短的校准，就能把它们找出来。
判断时不应使用人设。人设增加了弃答和地位刻板印象，却没有带来判断的多样性。撰写则是另一个问题。一个带人设的模型房间会写出各式各样的卡片，但不同的模型写法本就不同，同一个模型每次被问到时写法也不同，所以光有各式各样的卡片，并不能说明人设起了什么作用。检验方法就是这里用于判断的那种：让同样的模型在有人设和无人设的情况下分别写出原因，再数一数各自产生了多少个不同的原因。
由人组成的房间则不同。一个人带来的是自己亲眼所见的东西，而不是对某个可能见过它的人的描述。这项研究对此没有任何反驳；它说的是，一个被告知自己是租房者的模型，并没有作为租房者生活过。当目的是弄清人们在什么上意见不一时，只有人能提供答案。在这样的房间里，模型提问比回答更有用：针对一张卡片提出一个问题，一次一个，不带自己的观点（如果这是真的，你会看到什么？中间发生了什么？），能帮助作者把原因说清楚，又不会把模型的话塞进作者嘴里。
局限
一个问题，住房；120 条关联；每个模型四到五种人设，每种只回答一次。小于本设计所能察觉的效应不会显现出来。人设是以角色描述的形式写成的；更强的诱导方式，比如要求模型在回答前以角色身份进行推理，可能会让它偏移得更多，同时也带来刻画成漫画式形象的风险（Cheng et al., 2023）。信息度衡量的是与评审组的一致，而不是真实性，而被用作审议评判者的模型，与人的一致程度不如人们所希望的那样好（Zhu et al., 2025）：一个与自己意见一致的评审组，仍可能朝同一个方向出错。能力强的模型之间的差异只有在全部 870 条关联上才显现出来；在 120 条关联上它是看不见的，所以更小的差异仍可能未被发现，而一个比住房更有争议的问题，可能会让模型的分歧更大。
参考文献
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.