NOTATER · MODELLPANELER
Fortell en modell hvem den er. Årsaksvurderingene dens endrer seg knapt.
Oktober 2026
Rom med språkmodeller på True Causes gir hver modell en persona: en sykepleier som leier, en pensjonert boligeier, en liten utbygger. Tanken er at ulike mennesker ser ulike årsaker, og at et panel av modeller som spiller dem, også ville gjort det. Om en modell som får vite hvem den er, svarer som den personen, er et kjent spørsmål (Argyle et al., 2023); vi testet det på årsaksvurderinger.
Det gjør den ikke, når den skal bedømme. På tvers av 21 modeller og 14 personaer endret personaen en modell fikk, ikke hvilke årsakskoblinger den godtok, i noen grad vi kunne måle. Hvilken modell det var, endret mye.
Studien
Vi tok 120 koblinger fra et rom med offentlig protokoll om boligpriser, valgt slik at koblinger rommet bekreftet, forkastet og ikke kunne avgjøre, var like godt representert. Hver av 21 modeller svarte på hver kobling, én gang som seg selv og fire eller fem ganger som en annen persona: tolv boligpersonaer (leietakere og eiere, en utleier, en planlegger, en utbygger, en leietakeraktivist, en bygningsarbeider og andre), og to tvillinger, den samme personen bortsett fra ett faktum, å leie i stedet for å eie. Hver persona ble spilt av sju modeller. Det er 119 plasser og 14,220 svar, der hver plass svarte på hver kobling, så ingen svar var avhengig av et annet.
Hva som avgjorde svarene
Koblingen selv forklarer omtrent halvparten av all variasjonen (52 %): modellene er stort sett enige om hvilke koblinger som er plausible. Modellens egen lesning av bestemte koblinger forklarer en fjerdedel til (24 %), uansett hvilken persona den spiller. En modells generelle tendens til å si ja legger til 3 %.
Personaen la ikke til noe. Andelen den forklarte av variasjonen i hvilke koblinger som fikk ja, var 0.000; andelen av en generell tilbøyelighet til ja, 0.002. En test som prøver å identifisere personaen ut fra en plass’ svar, med modeller den ikke var sett i, gjorde det ikke bedre enn tilfeldig (6.1 % mot 7.1 %). Og plassene beveget seg ikke i den retningen personaens egenskaper skulle tilsi: korrelasjonen var null. Når en persona faktisk endret et svar, på mellom 1 % og 15 % av koblingene avhengig av modellen, endret den det tilfeldig.
Dette stemmer med hva andre har funnet. Personavariabler forklarer lite av variansen i annoteringsoppgaver (Hu & Collier, 2024), og rollen som nevnes i en systemprompt, endrer ikke konsekvent en modells svar (Zheng et al., 2024). Et årsaksspørsmål leses av en modell som et spørsmål om verden, ikke om personen som spør.
Hva personaer faktisk endret: hvem som svarer
Personaer fikk modeller til å si «kan ikke si» oftere, 26 % av gangene mot 19 % som seg selv, og ikke jevnt. Unge, lavinntekts-, leietaker-, venstreorienterte og ikke-amerikanske personaer avsto oftere, med opptil 14 poeng; eldre, høyreorienterte, utleier-, høyinntekts- og eierpersonaer avsto sjeldnere, med opptil 13 poeng. Modellene spilte personaer med lavere status som mindre sikre på det de vet. Personaprompter er kjent for å bære slike stereotypier inn i resonneringen (Gupta et al., 2024). Noen modeller avslo langt oftere med en persona: Gemini 3.5 Flash sa «kan ikke si» til 59 % av koblingene som persona og til ingen som seg selv.
Hvilke modeller som bedømmer godt
Diagrammene plasserer hver modell etter hvor ofte den sier ja (bortover) og hvor informative svarene dens er (oppover). Informasjonsverdien anslås uten å kjenne de riktige svarene, ut fra hvordan modellene er enige med hverandre (Dawid & Skene, 1979): 1 er en helt konsekvent bedømmer, 0 et svar som ikke bærer noe signal. Den måler enighet med det panelet som helhet finner, ikke riktighet, så en sterk modell som er uenig med svakere modeller, kan få lavere poengsum enn den fortjener.
De fleste modellene skiller: de sier ja til mellom en fjerdedel og to tredjedeler av koblingene, og svarene deres bærer signal. Claude Sonnet 5.5 og DeepSeek V4 Flash er mest enige med panelet. Mindre modeller som Gemma 3 4B og Command R7B bærer mindre. Schematron, en modell laget for å trekke ut data i stedet for å bedømme påstander, sa «kan ikke si» til nesten alt, og det den faktisk svarte på, bærer nesten ikke noe signal.
Har modellene egne syn?
Hvis personaer ikke former svarene, har kanskje modellene selv ulike teorier om problemet, der én skylder på regulering, en annen på spekulasjon. En fjerdedel av variasjonen var modeller som leste den samme koblingen ulikt, så vi lette etter retningene i den forskjellen: en modell som plasserer hver modell og hver kobling på noen få dimensjoner, ut fra modellenes svar som seg selv. En dimensjon teller bare hvis den er stabil, det vil si hvis tilpasning av den separat på to halvdeler av koblingene plasserer modellene på omtrent de samme stedene.
Én dimensjon var stabil, og den var ikke en teori. I den ene enden var koblinger som knapt gir mening, som «luksusleiligheter kjøpt av utenlandske investorer» som fører til «Amerika får 600,000 til 1.2 millioner innvandrere i året», som de svakere modellene godtok. I den andre enden var én sammenhengende mekanisme, beboernes stemmer og etablerte eieres interesser som holder tilbudet begrenset, som de sterkere modellene alle godtok. Dimensjonen er hvor godt en modell bedømmer: de sterke modellene ligger tett sammen, og hver svak modell avviker fra dem på sin egen måte.
Blant de elleve sterkere modellene, tilpasset på de 120 koblingene i studien, var ingenting stabilt. Det var for få koblinger. Tilpasset på alle de 870 koblingene i rommet, besvart av de samme elleve modellene som seg selv, dukket en forskjell opp, og den er stabil: tilpasset separat på to halvdeler av koblingene havner modellene på nesten de samme stedene (0.89).
I den ene enden godtar modellene koblinger fra folks interesser til politiske beslutninger: boligeieres interesse i stigende priser som fører til en regjerings endringer mot økt tilbud, beboernes stemmer som fører til Proposition 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex og DeepSeek ligger der. I den andre enden godtar modellene koblinger fra hindringer inn i tilbudsmekanismen: regulering, etablerte eieres interesser, kommuner som avslår rimelige leiligheter, og eiendomsrett, som hver fører til «flere boenheter senker prisene». Mistral Small, Ministral 8B, Laguna og Qwen ligger der. Grovt sagt forklarer den ene siden boligmarkedet ut fra hvem som vinner politisk, den andre ut fra hva som blokkerer tilbudet. Den lesningen er vår, ut fra koblingene i hver ende. Den andre dimensjonen plasserer begge GPT-OSS-modellene i den ene enden, men koblingene dens har ikke noe felles tema vi kan sette navn på.
Variasjonen bekrefter det. Blant de elleve sterkere modellene forklarer koblingen selv 68 % av den, mot 52 % med alle 21 modellene, og modellspesifikke lesninger faller fra 24 % til 8 %: omtrent to tredjedeler av det som så ut som ulike lesninger, kom fra de svakere modellene. Resten er mindre, men det er den konsekvente forskjellen over.
Hva dette betyr for True Causes
Et panel av modeller gir dømmekraft, med et smalt spekter av syn. Personaer tilfører ingen perspektiver. Dyktige modeller er enige om de fleste koblingene, og skiller seg konsekvent på resten, langs en linje mellom politiske forklaringer og tilbudsforklaringer. Det er et spekter, men et smalt et, bestemt av hvordan modellene ble trent: ikke det spekteret av syn som mennesker med ulik erfaring ville bringe med seg. Forskning på modeller som oppsummerer deliberasjoner, peker samme vei: oppsummeringene underrepresenterer mindretallsposisjoner, på tvers av 18 modeller (Zhu et al., 2025), og uttalelser skrevet for å finne konsensus kan vinne tilslutning gjennom tonen mer enn innholdet (Tsai et al., 2024). På True Causes taler ikke en modell for et rom. Den skriver eller bedømmer enkeltkoblinger, hver vurdering telles, og en deling forblir på kartet som en deling.
Å velge et panel handler først om kvalitet, så om balanse. Den største forskjellen mellom modeller er hvor godt de bedømmer, så et panel bør bestå av dyktige modeller, med svake modeller utelatt. Blant dyktige modeller heller modellfamiliene i ulike retninger, så et panel bør hente fra flere, og ingen enkelt familie bør være i flertall over resten.
Modeller bør sjekkes før de får plass. En modell som sier ja til alt, nei til alt eller «kan ikke si» til alt, tilfører støy til hvert par den bedømmer. En kort kalibrering på kjente koblinger finner dem.
Personaer bør ikke brukes til å bedømme. De tilfører flere avståelser og en statusstereotypi, og ikke noe mangfold i vurderingene. Skriving er et annet spørsmål. Et rom med modeller med personaer skriver varierte kort, men ulike modeller skriver ulikt, og én modell skriver ulikt hver gang den blir spurt, så varierte kort alene viser ikke at personaene gjorde noe. Testen er den samme som ble brukt her for bedømming: de samme modellene skriver årsaker med og uten persona, og de distinkte årsakene hver av dem gir, telles.
Rom med mennesker er annerledes. Et menneske tar med seg det det har sett, ikke en beskrivelse av noen som kanskje har sett det. Denne studien sier ingenting mot det; den sier at en modell som får vite at den er leietaker, ikke har levd som en. Der poenget er å finne ut hva folk er uenige om, er det bare mennesker som kan bidra med det. I slike rom er en modell mer nyttig når den spør enn når den svarer: et spørsmål om et kort, ett om gangen og uten eget syn (hva ville du se hvis dette var sant? hva skjer i mellom?), hjelper forfatteren å gjøre årsaken tydelig uten å legge modellens ord i munnen på vedkommende.
Begrensninger
Ett spørsmål, bolig; 120 koblinger; fire eller fem personaer per modell, som hver svarte én gang. Virkninger mindre enn det dette oppsettet kan fange opp, ville ikke vises. Personaene ble skrevet som rollebeskrivelser; sterkere måter å framkalle dem på, som å be en modell resonnere i rollen før den svarer, kan flytte den lenger, sammen med risikoen for karikatur (Cheng et al., 2023). Informasjonsverdi måler enighet med panelet, ikke sannhet, og modeller brukt som bedømmere av deliberasjon er mindre enige med mennesker enn man kunne håpe (Zhu et al., 2025): et panel som er enig med seg selv, kan likevel ta feil i samme retning. Forskjellen mellom dyktige modeller viste seg bare med alle de 870 koblingene; med 120 var den usynlig, så mindre forskjeller kan fortsatt gå upåaktet hen, og et mer omstridt spørsmål enn bolig kunne splitte modellene mer.
Referanser
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.