БЕЛЕЖКИ · ПАНЕЛИ ОТ МОДЕЛИ

Кажете на модела кой е. Причинните му преценки почти не се променят.

Октомври 2026 г.

Стаите от езикови модели в True Causes дават на всеки модел персона: медицинска сестра под наем, пенсиониран собственик на жилище, малък строителен предприемач. Идеята е, че различните хора виждат различни причини и панел от модели, които ги играят, също би ги видял. Дали модел, на когото е казано кой е, отговаря като този човек, е известен въпрос (Argyle et al., 2023); ние го проверихме върху причинни преценки.

При преценяването — не. При 21 модела и 14 персони персоната, дадена на модела, не промени с нищо, което можахме да измерим, кои причинни връзки той приема. Кой е моделът промени много.

Изследването

Взехме 120 връзки от стая с публичен запис за достъпността на жилищата, подбрани така, че връзките, които стаята потвърди, отхвърли и не успя да реши, да са представени поравно. Всеки от 21-те модела отговори за всяка връзка веднъж като себе си и четири или пет пъти като различна персона: дванадесет жилищни персони (наематели и собственици, хазяин, урбанист, строителен предприемач, организатор на наематели, строителен работник и други) и два близнака — един и същ човек с изключение на един факт: живее под наем, вместо да е собственик. Всяка персона беше играна от седем модела. Това са 119 места и 14 220 отговора, като всяко място отговаря за всяка връзка, така че никой отговор не зависи от друг.

Какво определи отговорите

Самата връзка обяснява около половината от цялата вариация (52%): моделите до голяма степен са съгласни кои връзки са правдоподобни. Собственият прочит на модела за определени връзки обяснява още една четвърт (24%), каквато и персона да играе. Общата склонност на модела да казва „да“ добавя 3%.

Персоната не добави нищо. Делът ѝ във вариацията на това кои връзки получават „да“ беше 0,000; делът ѝ в общия наклон към „да“ — 0,002. Тест, който се опитва да разпознае персоната по отговорите на едно място, при модели, в които не е бил виждан, не се справи по-добре от случайността (6,1% срещу 7,1%). А местата не се изместиха в посоката, която характеристиките на персоната им биха предсказали: корелацията беше нула. Когато персоната все пак промени отговор, при между 1% и 15% от връзките в зависимост от модела, тя го промени случайно.

Това съвпада с откритото от други. Променливите на персоната обясняват малка част от вариацията в задачи за анотиране (Hu & Collier, 2024), а ролята, посочена в системния промпт, не променя последователно отговорите на модела (Zheng et al., 2024). Причинният въпрос се чете от модела като въпрос за света, а не за човека, който пита.

Какво промениха персоните: кой отговаря

Персоните накараха моделите по-често да казват „не мога да кажа“ — в 26% от случаите срещу 19% като себе си, и то неравномерно. Младите, нискодоходните, наемателите, левите и неамериканските персони се въздържаха повече, с до 14 пункта; по-възрастните, десните, хазяите, високодоходните и собствениците се въздържаха по-малко, с до 13 пункта. Моделите играеха персоните с по-нисък статус като по-несигурни в онова, което знаят. Известно е, че промптовете с персони пренасят такива стереотипи в разсъжденията (Gupta et al., 2024). Някои модели отказваха много по-често с персона: Gemini 3.5 Flash каза „не мога да кажа“ за 59% от връзките като персона и за нито една като себе си.

Кои модели преценяват добре

Графиките поставят всеки модел според това колко често казва „да“ (хоризонтално) и колко информативни са отговорите му (вертикално). Информативността се оценява, без да се знаят верните отговори, по това как моделите се съгласяват помежду си (Dawid & Skene, 1979): 1 е напълно последователен съдник, 0 — отговор, който не носи никакъв сигнал. Тя измерва съгласието с онова, до което стига панелът като цяло, а не верността, така че силен модел, който не е съгласен с по-слабите, може да получи по-нисък резултат, отколкото заслужава.

Повечето модели различават: казват „да“ на между една четвърт и две трети от връзките и отговорите им носят сигнал. Claude Sonnet 5.5 и DeepSeek V4 Flash са най-съгласни с панела. По-малките модели като Gemma 3 4B и Command R7B носят по-малко сигнал. Schematron, модел, създаден за извличане на данни, а не за преценка на твърдения, каза „не мога да кажа“ почти на всичко, а онова, на което все пак отговори, не носи почти никакъв сигнал.

Имат ли моделите собствени възгледи?

Ако персоните не оформят отговорите, може би самите модели имат различни теории за проблема — един обвинява регулациите, друг спекулата. Една четвърт от вариацията беше в това, че моделите четат една и съща връзка различно, затова потърсихме посоките на тази разлика: модел, който поставя всеки модел и всяка връзка в няколко измерения, изчислен от отговорите на моделите като себе си. Едно измерение се брои само ако е стабилно, тоест ако изчислено отделно върху двете половини на връзките, поставя моделите на почти същите места.

Едно измерение беше стабилно и то не беше теория. В единия му край бяха връзки, които почти нямат смисъл, като „луксозни апартаменти, купени от чуждестранни инвеститори“, водещи до „Америка приема от 600 000 до 1,2 милиона имигранти годишно“, които по-слабите модели приеха. В другия край беше един последователен механизъм — гласовете на жителите и интересите на вече установените, които държат предлагането ограничено, — който всички по-силни модели приеха. Измерението показва колко добре преценява моделът: силните модели са близо един до друг, а всеки слаб модел се отклонява от тях по свой начин.

Сред единадесетте по-силни модела, изчислено върху 120-те връзки от изследването, нищо не беше стабилно. Връзките бяха твърде малко. Изчислено върху всичките 870 връзки на стаята, на които същите единадесет модела отговориха като себе си, се появи разлика и тя е стабилна: изчислени отделно върху двете половини на връзките, моделите попадат на почти същите места (0,89).

В единия край моделите приемат връзки от интересите на хората към политически решения: интересът на собствениците от растящите цени, водещ до промени на правителството срещу предлагането, гласовете на жителите, водещи до Proposition 13. Там са Gemini 3.5 Flash, Claude Sonnet 5.5, Nex и DeepSeek. В другия край моделите приемат връзки от пречките към механизма на предлагането: регулации, интереси на вече установените, общински съвети, които отказват евтини жилища, и права на собственост, всяко от които води до „повече жилища понижават цените“. Там са Mistral Small, Ministral 8B, Laguna и Qwen. Грубо казано, едната страна обяснява жилищния проблем с това кой печели политически, а другата — с това какво блокира предлагането. Този прочит е наш, по връзките в двата края. Второто измерение поставя двата модела GPT-OSS в единия край, но връзките му нямат обща тема, която да можем да назовем.

Вариацията потвърждава това. Сред единадесетте по-силни модела самата връзка обяснява 68% от нея срещу 52% при всичките 21 модела, а специфичните за модела прочити падат от 24% на 8%: около две трети от онова, което изглеждаше като различни прочити, идваше от по-слабите модели. Останалото е по-малко, но това е последователната разлика, описана по-горе.

Какво означава това за True Causes

Панелът от модели предлага преценка с тесен диапазон от възгледи. Персоните не добавят гледни точки. Способните модели са съгласни за повечето връзки и се различават последователно за останалите, по линия между политически обяснения и обяснения чрез предлагането. Това е диапазон, но тесен, определен от начина, по който моделите са обучени: не диапазонът от възгледи, който биха донесли хора с различен опит. Изследванията на модели, които обобщават обсъждания, сочат в същата посока: обобщенията представят слабо малцинствените позиции при 18 модела (Zhu et al., 2025), а изявленията, написани за постигане на консенсус, могат да спечелят съгласие повече с тона, отколкото със съдържанието си (Tsai et al., 2024). В True Causes моделът не говори от името на стаята. Той пише или преценява отделни връзки, всяка преценка се брои, а разделеният глас остава на картата като разделен.

При избора на панел първо е качеството, после балансът. Най-голямата разлика между моделите е колко добре преценяват, затова панелът трябва да се състои от способни модели, а слабите да остават извън него. Сред способните модели семействата клонят в различни посоки, затова панелът трябва да черпи от няколко и никое семейство да не превъзхожда по брой останалите.

Моделите трябва да се проверяват, преди да получат място. Модел, който казва „да“ на всичко, „не“ на всичко или „не мога да кажа“ на всичко, добавя шум към всяка двойка, която преценява. Кратко калибриране с известни връзки ги открива.

Персоните не бива да се използват за преценяване. Те добавят въздържания и статусен стереотип, но никакво разнообразие на преценките. Писането е отделен въпрос. Стая от модели с персони пише разнообразни карточки, но различните модели пишат различно и един модел пише различно всеки път, когато бъде попитан, така че разнообразните карточки сами по себе си не показват, че персоните са направили нещо. Тестът е същият като използвания тук за преценяването: същите модели пишат причини със и без персона и се преброяват различните причини, които дава всеки вариант.

Стаите от хора са друго. Човекът носи онова, което е видял, а не описание на някого, който би могъл да го е видял. Това изследване не казва нищо против това; то казва, че модел, на когото е казано, че е наемател, не е живял като такъв. Когато целта е да се разбере за какво хората не са съгласни, само хората могат да дадат това. В такива стаи моделът е по-полезен, когато пита, отколкото когато отговаря: въпрос за една карточка, един по един и без собствено мнение (какво бихте видели, ако това беше вярно? какво става между двете?), помага на автора ѝ да направи причината ясна, без да слага думите на модела в устата му.

Ограничения

Един въпрос, за жилищата; 120 връзки; четири или пет персони на модел, всяка отговаряща веднъж. Ефекти, по-малки от онова, което този дизайн може да види, не биха се проявили. Персоните бяха написани като описания на роли; по-силните начини за въвеждането им, например да се поиска от модела да разсъждава в ролята, преди да отговори, може да го изместят повече, заедно с риска от карикатура (Cheng et al., 2023). Информативността измерва съгласието с панела, а не истината, а моделите, използвани като съдници на обсъждания, са съгласни с хората по-слабо, отколкото би могло да се очаква (Zhu et al., 2025): панел, който е съгласен със себе си, пак може да греши в една и съща посока. Разликата между способните модели се появи само при всичките 870 връзки; при 120 тя беше невидима, така че по-малки разлики все още може да остават незабелязани, а по-спорен въпрос от жилищния може да раздели моделите повече.

Литература

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

Подхванете въпрос → · Още бележки