BELEŠKE · PANELI MODELA
Recite modelu ko je. Njegovi uzročni sudovi se jedva menjaju.
oktobar 2026.
Sobe jezičkih modela na True Causes daju svakom modelu personu: medicinsku sestru koja živi kao podstanar, penzionisanog vlasnika kuće, malog investitora. Ideja je da različiti ljudi vide različite uzroke, pa bi ih video i panel modela koji ih igraju. Da li model kome je rečeno ko je odgovara kao ta osoba poznato je pitanje (Argyle et al., 2023); mi smo ga testirali na uzročnim sudovima.
Kada je reč o procenjivanju, ne odgovara. Kroz 21 model i 14 persona, persona koja je data modelu nije ni u kojoj meri koju smo mogli da izmerimo promenila koje uzročne veze prihvata. To koji je model u pitanju menjalo je mnogo.
Studija
Uzeli smo 120 veza iz sobe javnog zapisa o pristupačnosti stanovanja, izabranih tako da su veze koje je soba potvrdila, odbacila i nije mogla da reši bile podjednako zastupljene. Svaki od 21 modela odgovorio je na svaku vezu, jednom kao on sam i četiri ili pet puta kao druga persona: dvanaest persona vezanih za stanovanje (podstanari i vlasnici, stanodavac, urbanista, investitor, organizator stanara, građevinski radnik i drugi) i dva blizanca, ista osoba osim jedne činjenice: iznajmljuje umesto da poseduje. Svaku personu igralo je sedam modela. To je 119 mesta i 14,220 odgovora, pri čemu je svako mesto odgovorilo na svaku vezu, pa nijedan odgovor nije zavisio od drugog.
Šta je odlučivalo o odgovorima
Sama veza objašnjava otprilike polovinu ukupne varijacije (52%): modeli se uglavnom slažu oko toga koje su veze verodostojne. Sopstveno čitanje pojedinih veza od strane modela objašnjava još četvrtinu (24%), koju god personu igrao. Opšta sklonost modela da kaže da dodaje 3%.
Persona nije dodala ništa. Njen udeo u varijaciji toga koje su veze dobile da bio je 0.000; njen udeo u opštoj sklonosti ka da, 0.002. Test koji pokušava da prepozna personu iz odgovora jednog mesta, na modelima na kojima nije viđen, nije bio bolji od slučajnosti (6.1% naspram 7.1%). A mesta se nisu pomerala u smeru koji bi predvidele osobine njihove persone: korelacija je bila nula. Kada je persona i promenila odgovor, na između 1% i 15% veza u zavisnosti od modela, promenila ga je nasumično.
To se poklapa sa onim što su drugi pronašli. Varijable persone objašnjavaju malo varijanse u zadacima anotacije (Hu & Collier, 2024), a uloga navedena u sistemskom promptu ne menja dosledno odgovore modela (Zheng et al., 2024). Model uzročno pitanje čita kao pitanje o svetu, a ne o osobi koja pita.
Šta su persone promenile: ko odgovara
Persone su navodile modele da češće kažu „ne može se reći”, u 26% slučajeva naspram 19% kada su odgovarali kao oni sami, i to ne ravnomerno. Mlade persone, persone sa niskim primanjima, podstanari, levo orijentisane persone i one van SAD uzdržavale su se više, do 14 poena; starije, desno orijentisane persone, stanodavci, persone sa visokim primanjima i vlasnici uzdržavali su se manje, do 13 poena. Modeli su persone nižeg statusa igrali kao manje sigurne u ono što znaju. Poznato je da promptovi sa personom prenose takve stereotipe u rasuđivanje (Gupta et al., 2024). Neki modeli su sa personom odbijali daleko češće: Gemini 3.5 Flash je kao persona rekao „ne može se reći” za 59% veza, a kao on sam ni za jednu.
Koji modeli dobro procenjuju
Grafikoni smeštaju svaki model prema tome koliko često kaže da (vodoravno) i koliko su njegovi odgovori informativni (uspravno). Informisanost se procenjuje bez poznavanja tačnih odgovora, iz toga kako se modeli slažu jedni sa drugima (Dawid & Skene, 1979): 1 je savršeno dosledan sudija, 0 odgovor koji ne nosi nikakav signal. Ona meri slaganje sa onim što pronalazi panel u celini, a ne tačnost, pa jak model koji se ne slaže sa slabijima može da dobije nižu ocenu nego što zaslužuje.
Većina modela razlikuje: kažu da za između četvrtine i dve trećine veza, i njihovi odgovori nose signal. Claude Sonnet 5.5 i DeepSeek V4 Flash se najviše slažu sa panelom. Manji modeli kao što su Gemma 3 4B i Command R7B nose manje. Schematron, model napravljen za izdvajanje podataka, a ne za procenjivanje tvrdnji, rekao je „ne može se reći” za skoro sve, a ono na šta je odgovorio ne nosi skoro nikakav signal.
Da li modeli imaju sopstvene stavove?
Ako persone ne oblikuju odgovore, možda sami modeli imaju različite teorije o problemu, jedan krivi regulativu, drugi špekulaciju. Četvrtina varijacije odnosila se na to da modeli istu vezu čitaju različito, pa smo tražili pravce te razlike: model koji svaki model i svaku vezu smešta na nekoliko dimenzija, na osnovu odgovora modela kao njih samih. Dimenzija se računa samo ako je stabilna, odnosno ako, kada se posebno proceni na dve polovine veza, modele smešta na uglavnom ista mesta.
Jedna dimenzija je bila stabilna, i nije bila teorija. Na jednom kraju bile su veze koje jedva imaju smisla, kao što je da „luksuzni stanovi koje kupuju strani investitori” vode do toga da „Amerika godišnje dobija 600,000 do 1.2 miliona imigranata”, koje su slabiji modeli prihvatili. Na drugom kraju bio je jedan koherentan mehanizam, glasovi stanovnika i interesi onih koji već poseduju drže ponudu ograničenom, koji su svi jači modeli prihvatili. Ta dimenzija je to koliko dobro model procenjuje: jaki modeli su blizu jedni drugima, a svaki slab model od njih odstupa na svoj način.
Među jedanaest jačih modela, procenjeno na 120 veza iz studije, ništa nije bilo stabilno. To je bilo premalo veza. Procenjeno na svih 870 veza sobe, na koje je istih jedanaest modela odgovorilo kao oni sami, pojavila se razlika, i ona je stabilna: kada se posebno proceni na dve polovine veza, modeli završavaju na skoro istim mestima (0.89).
Na jednom kraju modeli prihvataju veze od interesa ljudi do političkih odluka: interes vlasnika kuća u rastu cena koji vodi do vladinih promena protiv ponude, glasove stanovnika koji vode do Propozicije 13. Tu su Gemini 3.5 Flash, Claude Sonnet 5.5, Nex i DeepSeek. Na drugom kraju modeli prihvataju veze od prepreka ka mehanizmu ponude: regulativa, interesi onih koji već poseduju, opštinska veća koja odbijaju jeftine stanove i imovinska prava, pri čemu svako vodi do toga da „više stambenih jedinica smanjuje cene”. Tu su Mistral Small, Ministral 8B, Laguna i Qwen. Grubo rečeno, jedna strana objašnjava stanovanje kroz to ko politički dobija, a druga kroz to šta blokira ponudu. To tumačenje je naše, na osnovu veza na svakom kraju. Druga dimenzija stavlja oba GPT-OSS modela na jedan kraj, ali njene veze nemaju zajedničku temu koju bismo mogli da imenujemo.
Varijacija se slaže. Među jedanaest jačih modela, sama veza objašnjava 68% nje, naspram 52% sa svih 21 modelom, a čitanja specifična za model padaju sa 24% na 8%: oko dve trećine onoga što je izgledalo kao različita čitanja poticalo je od slabijih modela. Ostatak je manji, ali to je gore opisana dosledna razlika.
Šta to znači za True Causes
Panel modela nudi procenu, sa uskim rasponom stavova. Persone ne dodaju perspektive. Sposobni modeli se slažu oko većine veza, a oko ostalih se dosledno razlikuju, duž linije između političkih objašnjenja i objašnjenja preko ponude. To je raspon, ali uzak, određen time kako su modeli trenirani: to nije raspon stavova koji bi doneli ljudi sa različitim iskustvom. Istraživanja modela koji sažimaju većanja ukazuju na isto: sažeci nedovoljno predstavljaju manjinske stavove, kroz 18 modela (Zhu et al., 2025), a izjave napisane da bi se našao konsenzus mogu da pridobiju slaganje više svojim tonom nego sadržajem (Tsai et al., 2024). Na True Causes model ne govori u ime sobe. On piše ili procenjuje pojedinačne veze, svaka procena se računa, a podela ostaje na mapi kao podela.
Izbor panela je pre svega pitanje kvaliteta, a zatim ravnoteže. Najveća razlika između modela je to koliko dobro procenjuju, pa panel treba da čine sposobni modeli, a slabi da se izostave. Među sposobnim modelima porodice naginju na različite strane, pa panel treba da se oslanja na nekoliko njih, i nijedna porodica ne treba da brojčano nadmaši ostale.
Modele treba proveriti pre nego što dobiju mesto. Model koji kaže da na sve, ne na sve ili „ne može se reći” na sve dodaje šum svakom paru koji procenjuje. Kratka kalibracija na poznatim vezama ih pronalazi.
Persone ne treba koristiti za procenjivanje. One dodaju uzdržavanja i statusni stereotip, a nikakvu raznolikost sudova. Pisanje je posebno pitanje. Soba modela sa personama piše raznovrsne kartice, ali različiti modeli pišu različito, a jedan model piše drugačije svaki put kada ga pitate, pa raznovrsne kartice same po sebi ne pokazuju da su persone išta uradile. Test je onaj koji je ovde korišćen za procenjivanje: isti modeli pišu uzroke sa personom i bez nje, i prebrojavaju se različiti uzroci koje svaki od načina daje.
Sobe sa ljudima su drugačije. Osoba donosi ono što je videla, a ne opis nekoga ko je to možda video. Ova studija ne govori ništa protiv toga; ona kaže da model kome je rečeno da je podstanar nije tako živeo. Tamo gde je cilj da se sazna oko čega se ljudi ne slažu, to mogu da daju samo ljudi. U takvim sobama model je korisniji kada pita nego kada odgovara: pitanje o kartici, jedno po jedno i bez sopstvenog stava (šta biste videli da je ovo istina? šta se dešava između?), pomaže autoru da razjasni uzrok, a da mu model ne stavlja svoje reči u usta.
Ograničenja
Jedno pitanje, stanovanje; 120 veza; četiri ili pet persona po modelu, pri čemu svaka odgovara jednom. Efekti manji od onih koje ovaj dizajn može da uoči ne bi se pokazali. Persone su napisane kao opisi uloga; jači načini njihovog izazivanja, kao što je da se od modela traži da rasuđuje u ulozi pre nego što odgovori, mogli bi da ga pomere dalje, zajedno sa rizikom od karikature (Cheng et al., 2023). Informisanost meri slaganje sa panelom, a ne istinu, a modeli korišćeni kao sudije većanja slažu se sa ljudima slabije nego što bi se moglo očekivati (Zhu et al., 2025): panel koji se slaže sam sa sobom i dalje može da greši u istom smeru. Razlika između sposobnih modela pojavila se tek sa svih 870 veza; sa 120 je bila nevidljiva, pa bi manje razlike i dalje mogle da ostanu neprimećene, a pitanje spornije od stanovanja moglo bi još više da podeli modele.
Reference
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.