БЕЛЕШКЕ · ПАНЕЛИ МОДЕЛА
Реците моделу ко је. Његови узрочни судови се једва мењају.
октобар 2026.
Собе језичких модела на True Causes дају сваком моделу персону: медицинску сестру која живи као подстанар, пензионисаног власника куће, малог инвеститора. Идеја је да различити људи виде различите узроке, па би их видео и панел модела који их играју. Да ли модел коме је речено ко је одговара као та особа познато је питање (Argyle et al., 2023); ми смо га тестирали на узрочним судовима.
Када је реч о процењивању, не одговара. Кроз 21 модел и 14 персона, персона која је дата моделу није ни у којој мери коју смо могли да измеримо променила које узрочне везе прихвата. То који је модел у питању мењало је много.
Студија
Узели смо 120 веза из собе јавног записа о приступачности становања, изабраних тако да су везе које је соба потврдила, одбацила и није могла да реши биле подједнако заступљене. Сваки од 21 модела одговорио је на сваку везу, једном као он сам и четири или пет пута као друга персона: дванаест персона везаних за становање (подстанари и власници, станодавац, урбаниста, инвеститор, организатор станара, грађевински радник и други) и два близанца, иста особа осим једне чињенице: изнајмљује уместо да поседује. Сваку персону играло је седам модела. То је 119 места и 14,220 одговора, при чему је свако место одговорило на сваку везу, па ниједан одговор није зависио од другог.
Шта је одлучивало о одговорима
Сама веза објашњава отприлике половину укупне варијације (52%): модели се углавном слажу око тога које су везе веродостојне. Сопствено читање појединих веза од стране модела објашњава још четвртину (24%), коју год персону играо. Општа склоност модела да каже да додаје 3%.
Персона није додала ништа. Њен удео у варијацији тога које су везе добиле да био је 0.000; њен удео у општој склоности ка да, 0.002. Тест који покушава да препозна персону из одговора једног места, на моделима на којима није виђен, није био бољи од случајности (6.1% наспрам 7.1%). А места се нису померала у смеру који би предвиделе особине њихове персоне: корелација је била нула. Када је персона и променила одговор, на између 1% и 15% веза у зависности од модела, променила га је насумично.
То се поклапа са оним што су други пронашли. Варијабле персоне објашњавају мало варијансе у задацима анотације (Hu & Collier, 2024), а улога наведена у системском промпту не мења доследно одговоре модела (Zheng et al., 2024). Модел узрочно питање чита као питање о свету, а не о особи која пита.
Шта су персоне промениле: ко одговара
Персоне су наводиле моделе да чешће кажу „не може се рећи”, у 26% случајева наспрам 19% када су одговарали као они сами, и то не равномерно. Младе персоне, персоне са ниским примањима, подстанари, лево оријентисане персоне и оне ван САД уздржавале су се више, до 14 поена; старије, десно оријентисане персоне, станодавци, персоне са високим примањима и власници уздржавали су се мање, до 13 поена. Модели су персоне нижег статуса играли као мање сигурне у оно што знају. Познато је да промптови са персоном преносе такве стереотипе у расуђивање (Gupta et al., 2024). Неки модели су са персоном одбијали далеко чешће: Gemini 3.5 Flash је као персона рекао „не може се рећи” за 59% веза, а као он сам ни за једну.
Који модели добро процењују
Графикони смештају сваки модел према томе колико често каже да (водоравно) и колико су његови одговори информативни (усправно). Информисаност се процењује без познавања тачних одговора, из тога како се модели слажу једни са другима (Dawid & Skene, 1979): 1 је савршено доследан судија, 0 одговор који не носи никакав сигнал. Она мери слагање са оним што проналази панел у целини, а не тачност, па јак модел који се не слаже са слабијима може да добије нижу оцену него што заслужује.
Већина модела разликује: кажу да за између четвртине и две трећине веза, и њихови одговори носе сигнал. Claude Sonnet 5.5 и DeepSeek V4 Flash се највише слажу са панелом. Мањи модели као што су Gemma 3 4B и Command R7B носе мање. Schematron, модел направљен за издвајање података, а не за процењивање тврдњи, рекао је „не може се рећи” за скоро све, а оно на шта је одговорио не носи скоро никакав сигнал.
Да ли модели имају сопствене ставове?
Ако персоне не обликују одговоре, можда сами модели имају различите теорије о проблему, један криви регулативу, други шпекулацију. Четвртина варијације односила се на то да модели исту везу читају различито, па смо тражили правце те разлике: модел који сваки модел и сваку везу смешта на неколико димензија, на основу одговора модела као њих самих. Димензија се рачуна само ако је стабилна, односно ако, када се посебно процени на две половине веза, моделе смешта на углавном иста места.
Једна димензија је била стабилна, и није била теорија. На једном крају биле су везе које једва имају смисла, као што је да „луксузни станови које купују страни инвеститори” воде до тога да „Америка годишње добија 600,000 до 1.2 милиона имиграната”, које су слабији модели прихватили. На другом крају био је један кохерентан механизам, гласови становника и интереси оних који већ поседују држе понуду ограниченом, који су сви јачи модели прихватили. Та димензија је то колико добро модел процењује: јаки модели су близу једни другима, а сваки слаб модел од њих одступа на свој начин.
Међу једанаест јачих модела, процењено на 120 веза из студије, ништа није било стабилно. То је било премало веза. Процењено на свих 870 веза собе, на које је истих једанаест модела одговорило као они сами, појавила се разлика, и она је стабилна: када се посебно процени на две половине веза, модели завршавају на скоро истим местима (0.89).
На једном крају модели прихватају везе од интереса људи до политичких одлука: интерес власника кућа у расту цена који води до владиних промена против понуде, гласове становника који воде до Пропозиције 13. Ту су Gemini 3.5 Flash, Claude Sonnet 5.5, Nex и DeepSeek. На другом крају модели прихватају везе од препрека ка механизму понуде: регулатива, интереси оних који већ поседују, општинска већа која одбијају јефтине станове и имовинска права, при чему свако води до тога да „више стамбених јединица смањује цене”. Ту су Mistral Small, Ministral 8B, Laguna и Qwen. Грубо речено, једна страна објашњава становање кроз то ко политички добија, а друга кроз то шта блокира понуду. То тумачење је наше, на основу веза на сваком крају. Друга димензија ставља оба GPT-OSS модела на један крај, али њене везе немају заједничку тему коју бисмо могли да именујемо.
Варијација се слаже. Међу једанаест јачих модела, сама веза објашњава 68% ње, наспрам 52% са свих 21 моделом, а читања специфична за модел падају са 24% на 8%: око две трећине онога што је изгледало као различита читања потицало је од слабијих модела. Остатак је мањи, али то је горе описана доследна разлика.
Шта то значи за True Causes
Панел модела нуди процену, са уским распоном ставова. Персоне не додају перспективе. Способни модели се слажу око већине веза, а око осталих се доследно разликују, дуж линије између политичких објашњења и објашњења преко понуде. То је распон, али узак, одређен тиме како су модели тренирани: то није распон ставова који би донели људи са различитим искуством. Истраживања модела који сажимају већања указују на исто: сажеци недовољно представљају мањинске ставове, кроз 18 модела (Zhu et al., 2025), а изјаве написане да би се нашао консензус могу да придобију слагање више својим тоном него садржајем (Tsai et al., 2024). На True Causes модел не говори у име собе. Он пише или процењује појединачне везе, свака процена се рачуна, а подела остаје на мапи као подела.
Избор панела је пре свега питање квалитета, а затим равнотеже. Највећа разлика између модела је то колико добро процењују, па панел треба да чине способни модели, а слаби да се изоставе. Међу способним моделима породице нагињу на различите стране, па панел треба да се ослања на неколико њих, и ниједна породица не треба да бројчано надмаши остале.
Моделе треба проверити пре него што добију место. Модел који каже да на све, не на све или „не може се рећи” на све додаје шум сваком пару који процењује. Кратка калибрација на познатим везама их проналази.
Персоне не треба користити за процењивање. Оне додају уздржавања и статусни стереотип, а никакву разноликост судова. Писање је посебно питање. Соба модела са персонама пише разноврсне картице, али различити модели пишу различито, а један модел пише другачије сваки пут када га питате, па разноврсне картице саме по себи не показују да су персоне ишта урадиле. Тест је онај који је овде коришћен за процењивање: исти модели пишу узроке са персоном и без ње, и пребројавају се различити узроци које сваки од начина даје.
Собе са људима су другачије. Особа доноси оно што је видела, а не опис некога ко је то можда видео. Ова студија не говори ништа против тога; она каже да модел коме је речено да је подстанар није тако живео. Тамо где је циљ да се сазна око чега се људи не слажу, то могу да дају само људи. У таквим собама модел је кориснији када пита него када одговара: питање о картици, једно по једно и без сопственог става (шта бисте видели да је ово истина? шта се дешава између?), помаже аутору да разјасни узрок, а да му модел не ставља своје речи у уста.
Ограничења
Једно питање, становање; 120 веза; четири или пет персона по моделу, при чему свака одговара једном. Ефекти мањи од оних које овај дизајн може да уочи не би се показали. Персоне су написане као описи улога; јачи начини њиховог изазивања, као што је да се од модела тражи да расуђује у улози пре него што одговори, могли би да га помере даље, заједно са ризиком од карикатуре (Cheng et al., 2023). Информисаност мери слагање са панелом, а не истину, а модели коришћени као судије већања слажу се са људима слабије него што би се могло очекивати (Zhu et al., 2025): панел који се слаже сам са собом и даље може да греши у истом смеру. Разлика између способних модела појавила се тек са свих 870 веза; са 120 је била невидљива, па би мање разлике и даље могле да остану непримећене, а питање спорније од становања могло би још више да подели моделе.
Референце
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, А. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “а хелпфул ассистант” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.