NOTER · MODELPANELER
Fortæl en model, hvem den er. Dens årsagsbedømmelser ændrer sig knap nok.
Oktober 2026
Rum med sprogmodeller på True Causes giver hver model en persona: en sygeplejerske, der bor til leje, en pensioneret boligejer, en lille bygherre. Tanken er, at forskellige mennesker ser forskellige årsager, og at et panel af modeller, der spiller dem, også ville. Om en model, der får at vide, hvem den er, svarer som den person, er et kendt spørgsmål (Argyle et al., 2023); vi afprøvede det på årsagsbedømmelser.
Det gør den ikke, når den bedømmer. På tværs af 21 modeller og 14 personaer ændrede den persona, en model fik, ikke på nogen måde, vi kunne måle, hvilke årsagskoblinger den accepterede. Hvilken model det var, ændrede en hel del.
Undersøgelsen
Vi tog 120 koblinger fra et rum med offentlig protokol om boligers betalbarhed, udvalgt så koblinger, som rummet bekræftede, afviste og ikke kunne afgøre, var lige godt repræsenteret. Hver af 21 modeller besvarede hver kobling, én gang som sig selv og fire eller fem gange som en anden persona: tolv boligpersonaer (lejere og ejere, en udlejer, en byplanlægger, en bygherre, en lejerorganisator, en bygningsarbejder og andre) og to tvillinger, den samme person bortset fra ét faktum: lejer i stedet for ejer. Hver persona blev spillet af syv modeller. Det giver 119 pladser og 14.220 svar, hvor hver plads besvarede hver kobling, så intet svar afhang af et andet.
Hvad der afgjorde svarene
Koblingen selv forklarer omkring halvdelen af al variationen (52 %): modellerne er stort set enige om, hvilke koblinger der er plausible. Modellens egen læsning af bestemte koblinger forklarer endnu en fjerdedel (24 %), uanset hvilken persona den spiller. En models generelle tilbøjelighed til at sige ja lægger 3 % til.
Personaen lagde intet til. Dens andel af variationen i, hvilke koblinger der fik et ja, var 0,000; dens andel af en generel hældning mod ja 0,002. En test, der forsøger at identificere personaen ud fra en plads’ svar, med modeller den ikke var set i, klarede sig ikke bedre end tilfældigheden (6,1 % mod 7,1 %). Og pladserne bevægede sig ikke i den retning, deres personas træk ville forudsige: korrelationen var nul. Når en persona ændrede et svar, ved mellem 1 % og 15 % af koblingerne afhængigt af modellen, ændrede den det tilfældigt.
Det svarer til, hvad andre har fundet. Personavariable forklarer kun lidt af variansen i annoteringsopgaver (Hu & Collier, 2024), og den rolle, der nævnes i en systemprompt, ændrer ikke konsekvent en models svar (Zheng et al., 2024). Et årsagsspørgsmål læses af en model som et spørgsmål om verden, ikke om den person, der spørger.
Hvad personaer ændrede: hvem der svarer
Personaer fik modellerne til at sige „kan ikke sige” oftere, 26 % af gangene mod 19 % som sig selv, og ikke jævnt. Unge, lavindkomst-, leje-, venstreorienterede og ikke-amerikanske personaer afstod oftere, med op til 14 point; ældre, højreorienterede, udlejer-, højindkomst- og ejerpersonaer afstod sjældnere, med op til 13 point. Modellerne spillede personaer med lavere status som mindre sikre på, hvad de ved. Personaprompter er kendt for at bære sådanne stereotyper ind i ræsonnementet (Gupta et al., 2024). Nogle modeller afviste langt oftere med en persona: Gemini 3.5 Flash sagde „kan ikke sige” til 59 % af koblingerne som persona og til ingen som sig selv.
Hvilke modeller bedømmer godt
Diagrammerne placerer hver model efter, hvor ofte den siger ja (vandret), og hvor informative dens svar er (lodret). Informativiteten (informedness) estimeres uden at kende de rigtige svar, ud fra hvordan modellerne er enige med hinanden (Dawid & Skene, 1979): 1 er en fuldstændig konsekvent bedømmer, 0 et svar, der ikke bærer noget signal. Den måler enighed med det, panellet som helhed finder, ikke korrekthed, så en stærk model, der er uenig med svagere, kan score lavere, end den fortjener.
De fleste modeller skelner: de siger ja til mellem en fjerdedel og to tredjedele af koblingerne, og deres svar bærer signal. Claude Sonnet 5.5 og DeepSeek V4 Flash er mest enige med panelet. Mindre modeller som Gemma 3 4B og Command R7B bærer mindre. Schematron, en model bygget til at udtrække data snarere end at bedømme påstande, sagde „kan ikke sige” til næsten alt, og det, den svarede på, bærer næsten intet signal.
Har modellerne deres egne synspunkter?
Hvis personaer ikke former svarene, har modellerne måske selv forskellige teorier om problemet, én der giver regulering skylden, en anden spekulation. En fjerdedel af variationen var modeller, der læste den samme kobling forskelligt, så vi ledte efter retningerne i den forskel: en model, der placerer hver model og hver kobling på nogle få dimensioner ud fra modellernes svar som sig selv. En dimension tæller kun, hvis den er stabil, det vil sige, hvis det at tilpasse den hver for sig på to halvdele af koblingerne placerer modellerne nogenlunde de samme steder.
Én dimension var stabil, og den var ikke en teori. I den ene ende lå koblinger, der knap giver mening, såsom „luksuslejligheder købt af udenlandske investorer”, der fører til „Amerika får 600.000 til 1,2 millioner indvandrere om året”, som de svagere modeller accepterede. I den anden ende lå én sammenhængende mekanisme, beboernes stemmer og de etableredes interesser, der holder udbuddet begrænset, som de stærkere modeller alle accepterede. Dimensionen er, hvor godt en model bedømmer: de stærke modeller ligger tæt sammen, og hver svag model afviger fra dem på sin egen måde.
Blandt de elleve stærkere modeller, tilpasset på undersøgelsens 120 koblinger, var intet stabilt. Det var for få koblinger. Tilpasset på alle rummets 870 koblinger, besvaret af de samme elleve modeller som sig selv, viste der sig en forskel, og den er stabil: tilpasset hver for sig på to halvdele af koblingerne lander modellerne næsten de samme steder (0,89).
I den ene ende accepterer modellerne koblinger fra folks interesser til politiske beslutninger: boligejeres interesse i stigende priser, der fører til en regerings ændringer mod øget udbud, beboernes stemmer, der fører til Proposition 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex og DeepSeek ligger der. I den anden ende accepterer modellerne koblinger fra barrierer ind i udbudsmekanismen: regulering, de etableredes interesser, kommuner der afviser billige lejligheder, og ejendomsret, som hver fører til „flere boliger sænker priserne”. Mistral Small, Ministral 8B, Laguna og Qwen ligger der. Groft sagt forklarer den ene side boliger ud fra, hvem der vinder politisk, den anden ud fra, hvad der blokerer udbuddet. Den læsning er vores, ud fra koblingerne i hver ende. Den anden dimension placerer begge GPT-OSS-modeller i den ene ende, men dens koblinger deler intet tema, vi kan sætte navn på.
Variationen stemmer overens. Blandt de elleve stærkere modeller forklarer koblingen selv 68 % af den, mod 52 % med alle 21 modeller, og modelspecifikke læsninger falder fra 24 % til 8 %: omkring to tredjedele af det, der lignede forskellige læsninger, kom fra de svagere modeller. Resten er mindre, men det er den konsekvente forskel ovenfor.
Hvad det betyder for True Causes
Et panel af modeller tilbyder dømmekraft med et snævert spænd af synspunkter. Personaer tilføjer ingen perspektiver. Dygtige modeller er enige om de fleste koblinger og afviger konsekvent om resten, langs en linje mellem politiske forklaringer og udbudsforklaringer. Det er et spænd, men et snævert, sat af hvordan modellerne blev trænet: ikke det spænd af synspunkter, som mennesker med forskellig erfaring ville bringe. Forskning i modeller, der opsummerer overvejelser, peger samme vej: opsummeringerne underrepræsenterer mindretalspositioner på tværs af 18 modeller (Zhu et al., 2025), og udtalelser skrevet for at finde konsensus kan vinde tilslutning mere gennem deres tone end deres indhold (Tsai et al., 2024). På True Causes taler en model ikke for et rum. Den skriver eller bedømmer enkelte koblinger, hver bedømmelse tælles, og en delt afstemning bliver stående på kortet som delt.
At vælge et panel handler om kvalitet først, derefter balance. Den største forskel mellem modeller er, hvor godt de bedømmer, så et panel bør bestå af dygtige modeller, og svage bør holdes ude. Blandt dygtige modeller hælder familierne i forskellige retninger, så et panel bør trække på flere, og ingen enkelt familie bør være i overtal over resten.
Modeller bør screenes, før de får en plads. En model, der siger ja til alt, nej til alt eller „kan ikke sige” til alt, tilføjer støj til hvert par, den bedømmer. En kort kalibrering på kendte koblinger finder dem.
Personaer bør ikke bruges til at bedømme. De tilføjer undladelser og en statusstereotyp og ingen mangfoldighed i bedømmelsen. At skrive er et separat spørgsmål. Et rum med modeller med personaer skriver varierede sedler, men forskellige modeller skriver forskelligt, og én model skriver forskelligt, hver gang den bliver spurgt, så varierede sedler alene viser ikke, at personaerne gjorde noget. Testen er den, der her blev brugt til bedømmelse: de samme modeller skriver årsager med og uden persona, og de forskellige årsager, hver frembringer, tælles.
Rum med mennesker er anderledes. Et menneske bringer det, det har set, ikke en beskrivelse af nogen, der kunne have set det. Denne undersøgelse siger intet imod det; den siger, at en model, der får at vide, at den er lejer, ikke har levet som en. Hvor pointen er at finde ud af, hvad folk er uenige om, er det kun mennesker, der kan levere det. I de rum er en model mere nyttig til at spørge end til at svare: et spørgsmål om en seddel, ét ad gangen og uden eget synspunkt (hvad ville du se, hvis dette var sandt? hvad sker der ind imellem?), hjælper forfatteren med at gøre årsagen klar uden at lægge modellens ord i vedkommendes mund.
Begrænsninger
Ét spørgsmål, boliger; 120 koblinger; fire eller fem personaer pr. model, der hver svarede én gang. Virkninger, der er mindre, end dette design kan se, ville ikke vise sig. Personaerne blev skrevet som rollebeskrivelser; stærkere måder at fremkalde dem på, som at bede en model ræsonnere i rollen, før den svarer, kan flytte den mere, sammen med risikoen for karikatur (Cheng et al., 2023). Informativitet måler enighed med panelet, ikke sandhed, og modeller brugt som dommere over overvejelser er mindre enige med mennesker, end man kunne håbe (Zhu et al., 2025): et panel, der er enigt med sig selv, kan stadig tage fejl i samme retning. Forskellen mellem dygtige modeller viste sig kun med alle 870 koblinger; med 120 var den usynlig, så mindre forskelle kan stadig gå ubemærket hen, og et mere omstridt spørgsmål end boliger kan dele modellerne yderligere.
Referencer
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. I Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.