НОТАТКИ · ПАНЕЛІ З МОДЕЛЕЙ
Скажіть моделі, ким вона є. Її причинні судження майже не зміняться.
Жовтень 2026
Кімнати мовних моделей на True Causes дають кожній моделі персону: медсестра, яка орендує житло, пенсіонер із власним будинком, невеликий забудовник. Ідея в тому, що різні люди бачать різні причини, і панель моделей, що грають їх, теж бачила б. Чи відповідає модель, якій сказали, ким вона є, так, як ця людина, — відоме питання (Argyle et al., 2023); ми перевірили його на причинних судженнях.
Для суджень — ні. На 21 моделі й 14 персонах персона, яку отримала модель, не змінила того, які причинні зв’язки вона приймала, ні на що, що ми могли б виміряти. А те, яка це була модель, змінювало дуже багато.
Дослідження
Ми взяли 120 зв’язків із кімнати з публічним протоколом про доступність житла, дібраних так, щоб зв’язки, які кімната засвідчила, відхилила й не змогла вирішити, були представлені порівну. Кожна з 21 моделі відповіла на кожен зв’язок один раз як вона сама і чотири чи п’ять разів як інша персона: дванадцять житлових персон (орендарі й власники, орендодавець, планувальник, забудовник, організатор орендарів, будівельний робітник та інші) і два близнюки, та сама людина, за винятком одного факту: вона орендує, а не володіє. Кожну персону грали сім моделей. Це 119 місць і 14,220 відповідей, кожне місце відповідало на кожен зв’язок, тож жодна відповідь не залежала від іншої.
Що визначало відповіді
Сам зв’язок пояснює приблизно половину всієї варіації (52%): моделі здебільшого згодні щодо того, які зв’язки правдоподібні. Власне прочитання конкретних зв’язків моделлю пояснює ще чверть (24%), хоч би яку персону вона грала. Загальна схильність моделі казати «так» додає 3%.
Персона нічого не додала. Її частка у варіації того, які зв’язки отримали «так», становила 0.000; її частка в загальному нахилі до «так» — 0.002. Тест, який намагається визначити персону за відповідями місця на моделях, де її не бачив, упорався не краще, ніж навмання (6.1% проти 7.1%). І місця не зміщувалися в тому напрямку, який передбачали б риси їхньої персони: кореляція дорівнювала нулю. Коли персона все ж змінювала відповідь, на 1–15% зв’язків залежно від моделі, вона змінювала її випадково.
Це збігається з тим, що знайшли інші. Змінні персони пояснюють малу частку варіації в завданнях з анотування (Hu & Collier, 2024), а роль, названа в системному промпті, не змінює відповідей моделі послідовно (Zheng et al., 2024). Причинне питання модель читає як питання про світ, а не про людину, яка питає.
Що персони змінили: хто відповідає
Із персонами моделі частіше казали «не можу сказати», у 26% випадків проти 19% як вони самі, і нерівномірно. Молоді, малозабезпечені, орендарі, ліві та неамериканські персони утримувалися частіше, до 14 пунктів; старші, праві, орендодавці, заможні та власники утримувалися рідше, до 13 пунктів. Моделі грали персони з нижчим статусом як менш певні в тому, що вони знають. Відомо, що промпти з персонами переносять такі стереотипи в міркування (Gupta et al., 2024). Деякі моделі з персоною відмовлялися набагато частіше: Gemini 3.5 Flash казала «не можу сказати» на 59% зв’язків як персона і на жоден як вона сама.
Які моделі судять добре
Графіки розміщують кожну модель за тим, як часто вона каже «так» (по горизонталі), і тим, наскільки інформативні її відповіді (по вертикалі). Інформативність оцінюють, не знаючи правильних відповідей, з того, як моделі погоджуються одна з одною (Dawid & Skene, 1979): 1 — цілком послідовний суддя, 0 — відповідь, яка не несе сигналу. Вона вимірює згоду з тим, що знаходить панель загалом, а не правильність, тож сильна модель, яка не згодна зі слабшими, може отримати нижчу оцінку, ніж заслуговує.
Більшість моделей розрізняють: вони кажуть «так» на від чверті до двох третин зв’язків, і їхні відповіді несуть сигнал. Claude Sonnet 5.5 і DeepSeek V4 Flash найбільше згодні з панеллю. Менші моделі, як-от Gemma 3 4B і Command R7B, несуть менше. Schematron, модель, створена для вилучення даних, а не для оцінювання тверджень, казала «не можу сказати» майже на все, а те, на що вона відповіла, майже не несе сигналу.
Чи мають моделі власні погляди?
Якщо персони не формують відповіді, можливо, самі моделі мають різні теорії проблеми: одна звинувачує регулювання, інша — спекуляцію. Чверть варіації становило те, що моделі по-різному читали той самий зв’язок, тож ми шукали напрямки цієї різниці: модель, яка розміщує кожну модель і кожен зв’язок на кількох вимірах, за відповідями моделей як їх самих. Вимір зараховується, лише якщо він стабільний, тобто якщо, підібраний окремо на двох половинах зв’язків, він розміщує моделі приблизно в тих самих місцях.
Один вимір був стабільним, і це була не теорія. На одному кінці були зв’язки, які майже не мають сенсу, як-от «розкішні квартири, куплені іноземними інвесторами» веде до «Америка щороку додає від 600,000 до 1.2 мільйона іммігрантів», і їх приймали слабші моделі. На іншому кінці був один цілісний механізм: голоси мешканців та інтереси тих, хто вже має житло, утримують пропозицію обмеженою, і його прийняли всі сильніші моделі. Цей вимір — те, наскільки добре модель судить: сильні моделі розташовані близько одна до одної, а кожна слабка відходить від них по-своєму.
Серед одинадцяти сильніших моделей, підібраних на 120 зв’язках дослідження, нічого стабільного не було. Зв’язків було замало. На всіх 870 зв’язках кімнати, на які ті самі одинадцять моделей відповіли як вони самі, з’явилася різниця, і вона стабільна: підібрані окремо на двох половинах зв’язків, моделі опиняються майже в тих самих місцях (0.89).
На одному кінці моделі приймають зв’язки від інтересів людей до політичних рішень: зацікавленість власників житла в зростанні цін веде до змін уряду проти пропозиції, голоси мешканців ведуть до Proposition 13. Там розташовані Gemini 3.5 Flash, Claude Sonnet 5.5, Nex і DeepSeek. На іншому кінці моделі приймають зв’язки від бар’єрів до механізму пропозиції: регулювання, інтереси тих, хто вже має житло, відмови рад будувати недороге житло та право власності, кожне з яких веде до «більше житла знижує ціни». Там розташовані Mistral Small, Ministral 8B, Laguna і Qwen. Грубо кажучи, одна сторона пояснює житло через те, хто виграє політично, інша — через те, що блокує пропозицію. Це наше прочитання, за зв’язками на кожному кінці. Другий вимір ставить обидві моделі GPT-OSS на один кінець, але його зв’язки не мають спільної теми, яку ми могли б назвати.
Варіація це підтверджує. Серед одинадцяти сильніших моделей сам зв’язок пояснює 68% її проти 52% з усіма 21 моделями, а специфічні для моделі прочитання падають із 24% до 8%: приблизно дві третини того, що виглядало як різні прочитання, походило від слабших моделей. Решта менша, але це та послідовна різниця, описана вище.
Що це означає для True Causes
Панель моделей пропонує судження з вузьким спектром поглядів. Персони не додають перспектив. Спроможні моделі згодні щодо більшості зв’язків і послідовно розходяться щодо решти, уздовж лінії між політичними поясненнями й поясненнями через пропозицію. Це спектр, але вузький, заданий тим, як моделі навчали: не той спектр поглядів, який принесли б люди з різним досвідом. Дослідження моделей, що підсумовують обговорення, вказують у той самий бік: підсумки недостатньо представляють позиції меншості, на 18 моделях (Zhu et al., 2025), а заяви, написані для пошуку консенсусу, можуть здобувати згоду більше своїм тоном, ніж змістом (Tsai et al., 2024). На True Causes модель не говорить за кімнату. Вона пише або оцінює окремі зв’язки, кожне судження рахується, а розкол лишається на мапі як розкол.
Добір панелі — це насамперед якість, а потім баланс. Найбільша різниця між моделями — те, наскільки добре вони судять, тож панель має складатися зі спроможних моделей, а слабкі слід лишити поза нею. Серед спроможних моделей різні родини схиляються в різні боки, тож панель має спиратися на кілька, і жодна родина не повинна переважати решту.
Моделі треба перевіряти, перш ніж дати їм місце. Модель, яка на все каже «так», на все «ні» або на все «не можу сказати», додає шум до кожної пари, яку оцінює. Коротке калібрування на відомих зв’язках їх виявляє.
Персони не слід використовувати для суджень. Вони додають утримання й статусний стереотип і жодної різноманітності суджень. Написання — окреме питання. Кімната моделей із персонами пише різноманітні картки, але різні моделі пишуть по-різному, і одна модель пише по-різному щоразу, коли її просять, тож самі лише різноманітні картки не доводять, що персони щось зробили. Перевірка — та сама, що тут для суджень: ті самі моделі пишуть причини з персоною і без неї, і рахують, скільки різних причин дає кожен варіант.
Кімнати людей — інша справа. Людина приносить те, що бачила сама, а не опис того, хто міг би це бачити. Це дослідження нічого не каже проти цього; воно каже, що модель, якій сказали, що вона орендар, не жила як орендар. Там, де мета — з’ясувати, у чому люди не згодні, це можуть дати лише люди. У таких кімнатах модель корисніша, коли питає, ніж коли відповідає: питання про картку, по одному й без власної думки (що ви побачили б, якби це було правдою? що відбувається між ними?), допомагає авторові чітко сформулювати причину, не вкладаючи йому в уста слова моделі.
Обмеження
Одне питання, житло; 120 зв’язків; чотири чи п’ять персон на модель, кожна відповідала один раз. Ефекти, менші за ті, які може побачити такий дизайн, не проявилися б. Персони було написано як описи ролей; сильніші способи їх задати, як-от попросити модель міркувати в ролі перед відповіддю, можуть зрушити її далі, разом із ризиком карикатури (Cheng et al., 2023). Інформативність вимірює згоду з панеллю, а не істину, а моделі, яких використовують як суддів обговорень, погоджуються з людьми гірше, ніж хотілося б (Zhu et al., 2025): панель, яка згодна сама з собою, усе одно може помилятися в одному напрямку. Різниця між спроможними моделями з’явилася лише на всіх 870 зв’язках; на 120 її не було видно, тож менші різниці все ще можуть лишатися непоміченими, а спірніше питання, ніж житло, могло б розділити моделі сильніше.
Література
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.