ЗАМЕТКИ · ПАНЕЛИ ИЗ МОДЕЛЕЙ
Скажите модели, кто она. Ее суждения о причинах почти не изменятся.
Октябрь 2026 г.
Комнаты языковых моделей в True Causes дают каждой модели персону: медсестра, снимающая жилье, пенсионер с собственным домом, небольшой застройщик. Идея в том, что разные люди видят разные причины, а значит, и панель моделей, которые их играют, тоже увидит. Отвечает ли модель, которой сказали, кто она, так же, как этот человек, — известный вопрос (Argyle et al., 2023); мы проверили его на суждениях о причинах.
Для суждений — нет. На 21 модели и 14 персонах персона, которую получила модель, не изменила то, какие причинные связи она принимает, ни на сколько-нибудь измеримую величину. А то, какая это была модель, меняло очень многое.
Исследование
Мы взяли 120 связей из открытой комнаты о доступности жилья, отобранных так, чтобы связи, которые комната подтвердила, отвергла и не смогла решить, были представлены поровну. Каждая из 21 модели ответила на каждую связь один раз от своего лица и четыре или пять раз от лица разных персон: двенадцати персон, связанных с жильем (арендаторы и владельцы, арендодатель, градостроитель, застройщик, организатор жильцов, строительный рабочий и другие), и двух близнецов — одного и того же человека, отличающегося одним фактом: он снимает жилье, а не владеет им. Каждую персону играли семь моделей. Это 119 мест и 14,220 ответов, каждое место ответило на каждую связь, так что ни один ответ не зависел от другого.
Что определяло ответы
Сама связь объясняет примерно половину всей вариации (52%): модели в целом согласны в том, какие связи правдоподобны. Собственное прочтение моделью отдельных связей объясняет еще четверть (24%), какую бы персону она ни играла. Общая склонность модели отвечать «да» добавляет 3%.
Персона не добавила ничего. Ее доля в вариации того, какие связи получили «да», составила 0.000; ее доля в общей склонности к «да» — 0.002. Тест, который пытается определить персону по ответам места на моделях, на которых он ее не видел, справился не лучше случайного угадывания (6.1% против 7.1%). И места не сдвигались в ту сторону, которую предсказывали бы черты их персоны: корреляция была нулевой. Когда персона все же меняла ответ, а это происходило на 1–15% связей в зависимости от модели, она меняла его случайно.
Это совпадает с тем, что нашли другие. Переменные персоны объясняют малую часть дисперсии в задачах аннотирования (Hu & Collier, 2024), а роль, названная в системном промпте, не меняет ответы модели последовательно (Zheng et al., 2024). Вопрос о причинах модель читает как вопрос о мире, а не о человеке, который спрашивает.
Что персоны все же изменили: кто отвечает
С персонами модели чаще говорили «не могу сказать»: в 26% случаев против 19% от своего лица, и неравномерно. Молодые, малообеспеченные, снимающие жилье, левые и неамериканские персоны воздерживались чаще, до 14 пунктов; пожилые, правые, арендодатели, высокообеспеченные и владельцы жилья — реже, до 13 пунктов. Модели играли персоны с более низким статусом как менее уверенные в том, что они знают. Известно, что промпты с персонами переносят такие стереотипы в рассуждения (Gupta et al., 2024). Некоторые модели с персоной отказывались отвечать гораздо чаще: Gemini 3.5 Flash в роли персоны говорила «не могу сказать» на 59% связей, а от своего лица — ни разу.
Какие модели хорошо судят
Графики располагают каждую модель по тому, как часто она говорит «да» (по горизонтали), и по тому, насколько информативны ее ответы (по вертикали). Информированность оценивается без знания правильных ответов, по тому, как модели согласуются друг с другом (Dawid & Skene, 1979): 1 — совершенно последовательный судья, 0 — ответ, не несущий никакого сигнала. Она измеряет согласие с тем, к чему приходит панель в целом, а не правильность, поэтому сильная модель, которая не согласна со слабыми, может получить оценку ниже заслуженной.
Большинство моделей различают связи: они говорят «да» от четверти до двух третей связей, и их ответы несут сигнал. Claude Sonnet 5.5 и DeepSeek V4 Flash больше всех согласны с панелью. Небольшие модели, такие как Gemma 3 4B и Command R7B, несут меньше сигнала. Schematron, модель, созданная для извлечения данных, а не для оценки утверждений, говорила «не могу сказать» почти на все, а то, на что она ответила, почти не несет сигнала.
Есть ли у моделей собственные взгляды?
Если персоны не формируют ответы, возможно, у самих моделей разные теории проблемы: одна винит регулирование, другая — спекуляцию. Четверть вариации приходилась на то, что модели по-разному читают одну и ту же связь, поэтому мы искали направления этого различия: модель, которая располагает каждую модель и каждую связь в нескольких измерениях, по ответам моделей от своего лица. Измерение засчитывается, только если оно устойчиво, то есть если при отдельной подгонке на двух половинах связей модели оказываются примерно на тех же местах.
Одно измерение оказалось устойчивым, и это была не теория. На одном его конце были связи, в которых почти нет смысла, например «элитные квартиры, купленные иностранными инвесторами» ведут к «Америка принимает от 600,000 до 1.2 миллиона иммигрантов в год», и их принимали слабые модели. На другом конце был один связный механизм — голоса жителей и интересы тех, кто уже владеет жильем, ограничивают предложение, — и его приняли все сильные модели. Это измерение — то, насколько хорошо модель судит: сильные модели стоят близко друг к другу, а каждая слабая отклоняется от них по-своему.
Среди одиннадцати сильных моделей при подгонке на 120 связях исследования ничего устойчивого не было. Связей было слишком мало. При подгонке на всех 870 связях комнаты, на которые те же одиннадцать моделей ответили от своего лица, появилось различие, и оно устойчиво: при отдельной подгонке на двух половинах связей модели оказываются почти на тех же местах (0.89).
На одном конце модели принимают связи от интересов людей к политическим решениям: заинтересованность владельцев жилья в росте цен ведет к мерам правительства против нового строительства, голоса жителей ведут к Proposition 13. Там находятся Gemini 3.5 Flash, Claude Sonnet 5.5, Nex и DeepSeek. На другом конце модели принимают связи от препятствий к механизму предложения: регулирование, интересы тех, кто уже владеет жильем, отказы местных советов строить недорогие квартиры и права собственности — каждое ведет к «больше жилья снижает цены». Там находятся Mistral Small, Ministral 8B, Laguna и Qwen. Грубо говоря, одна сторона объясняет жилье через то, кто политически выигрывает, а другая — через то, что блокирует предложение. Это наше прочтение по связям на каждом конце. Второе измерение ставит обе модели GPT-OSS на один конец, но у его связей нет общей темы, которую мы могли бы назвать.
Вариация с этим согласуется. Среди одиннадцати сильных моделей сама связь объясняет 68% вариации против 52% для всех 21 модели, а собственные прочтения моделей падают с 24% до 8%: около двух третей того, что выглядело как разные прочтения, приходилось на слабые модели. Остаток меньше, но это и есть устойчивое различие, описанное выше.
Что это значит для True Causes
Панель моделей дает суждение, но с узким диапазоном взглядов. Персоны не добавляют точек зрения. Сильные модели согласны в большинстве связей и устойчиво расходятся в остальных — по линии между политическими объяснениями и объяснениями через предложение. Это диапазон, но узкий, и задан он тем, как модели обучались: это не тот диапазон взглядов, который принесли бы люди с разным опытом. Исследования моделей, которые подводят итоги обсуждений, указывают в ту же сторону: в итогах недостаточно представлены позиции меньшинства, на 18 моделях (Zhu et al., 2025), а заявления, написанные для поиска консенсуса, могут добиваться согласия скорее тоном, чем содержанием (Tsai et al., 2024). В True Causes модель не говорит от имени комнаты. Она пишет или оценивает отдельные связи, каждое суждение учитывается, а раскол остается на карте как раскол.
При выборе панели сначала важно качество, потом баланс. Самое большое различие между моделями — в том, насколько хорошо они судят, поэтому панель должна состоять из сильных моделей, а слабые лучше не включать. Среди сильных моделей разные семейства склоняются в разные стороны, поэтому панель должна опираться на несколько семейств, и ни одно не должно численно превосходить остальные.
Модели нужно проверять, прежде чем давать им место. Модель, которая на все отвечает «да», на все «нет» или на все «не могу сказать», добавляет шум в каждую пару, которую оценивает. Короткая калибровка на известных связях их выявляет.
Персоны не стоит использовать для оценки. Они добавляют воздержания и статусный стереотип, но не разнообразие суждений. Написание — отдельный вопрос. Комната моделей с персонами пишет разнообразные карточки, но разные модели пишут по-разному, и одна модель пишет по-разному каждый раз, когда ее спрашивают, поэтому разнообразие карточек само по себе не показывает, что персоны что-то сделали. Проверка та же, что использована здесь для оценки: одни и те же модели пишут причины с персоной и без нее, и подсчитываются различные причины, которые дает каждый вариант.
Комнаты людей — другое дело. Человек приносит то, что видел сам, а не описание кого-то, кто мог это видеть. Это исследование ничего не говорит против этого; оно говорит, что модель, которой сказали, что она арендатор, не жила как арендатор. Там, где цель — выяснить, о чем люди расходятся во мнениях, дать это могут только люди. В таких комнатах модель полезнее, когда спрашивает, а не отвечает: вопрос о карточке, по одному за раз и без собственного мнения (что бы вы увидели, если бы это было правдой? что происходит в промежутке?), помогает автору сделать причину ясной, не вкладывая ему в уста слова модели.
Ограничения
Один вопрос, жилье; 120 связей; четыре или пять персон на модель, каждая ответила один раз. Эффекты меньше тех, что способен увидеть такой дизайн, не проявились бы. Персоны были написаны как описания ролей; более сильные способы их задать, например попросить модель рассуждать в образе перед ответом, могут сдвинуть ее сильнее, а вместе с этим растет риск карикатуры (Cheng et al., 2023). Информированность измеряет согласие с панелью, а не истину, и модели, которых используют как судей обсуждений, согласуются с людьми хуже, чем хотелось бы (Zhu et al., 2025): панель, согласная сама с собой, все равно может ошибаться в одну сторону. Различие между сильными моделями появилось только на всех 870 связях; на 120 его не было видно, поэтому меньшие различия все еще могут оставаться незамеченными, а вопрос, более спорный, чем жилье, может разделить модели сильнее.
Литература
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.