ANTECKNINGAR · MODELLPANELER
Säg till en modell vem den är. Dess orsaksbedömningar ändras knappt.
Oktober 2026
Rum med språkmodeller på True Causes ger varje modell en persona: en sjuksköterska som hyr, en pensionerad husägare, en liten byggherre. Tanken är att olika människor ser olika orsaker, och att en panel av modeller som spelar dem också skulle göra det. Huruvida en modell som får veta vem den är svarar som den personen är en känd fråga (Argyle et al., 2023); vi testade det på orsaksbedömningar.
Det gör den inte, när det gäller att bedöma. Över 21 modeller och 14 personor ändrade den persona som en modell fick vilka orsakskopplingar den godtog med ingenting vi kunde mäta. Vilken modell det var ändrade mycket.
Studien
Vi tog 120 kopplingar från ett rum med offentligt protokoll om bostäders överkomlighet, valda så att kopplingar som rummet fastställde, avvisade och inte kunde avgöra var lika representerade. Var och en av 21 modeller besvarade varje koppling, en gång som sig själv och fyra eller fem gånger som en annan persona: tolv bostadspersonor (hyresgäster och ägare, en hyresvärd, en planerare, en byggherre, en hyresgästorganisatör, en byggarbetare och andra), och två tvillingar, samma person så när som på ett faktum, att hyra i stället för att äga. Varje persona spelades av sju modeller. Det blir 119 platser och 14 220 svar, där varje plats besvarade varje koppling, så att inget svar berodde på ett annat.
Vad som avgjorde svaren
Kopplingen i sig förklarar ungefär hälften av all variation (52 %): modellerna är i stort sett överens om vilka kopplingar som är rimliga. Modellens egen läsning av enskilda kopplingar förklarar ytterligare en fjärdedel (24 %), vilken persona den än spelar. En modells allmänna benägenhet att säga ja tillför 3 %.
Personan tillförde ingenting. Dess andel av variationen i vilka kopplingar som fick ett ja var 0,000; dess andel av en allmän lutning mot ja, 0,002. Ett test som försöker identifiera personan utifrån en plats svar, med modeller den inte setts i, lyckades inte bättre än slumpen (6,1 % mot 7,1 %). Och platserna rörde sig inte i den riktning som personans egenskaper skulle förutsäga: korrelationen var noll. När en persona väl ändrade ett svar, på mellan 1 % och 15 % av kopplingarna beroende på modell, ändrade den det slumpmässigt.
Det stämmer med vad andra har funnit. Personavariabler förklarar lite av variansen i annoteringsuppgifter (Hu & Collier, 2024), och den roll som anges i en systemprompt ändrar inte konsekvent en modells svar (Zheng et al., 2024). En orsaksfråga läses av en modell som en fråga om världen, inte om personen som frågar.
Vad personor ändrade: vem som svarar
Personor fick modellerna att säga ”kan inte säga” oftare, i 26 % av fallen mot 19 % som sig själva, och inte jämnt fördelat. Unga, låginkomsttagande, hyrande, vänsterlutande och icke-amerikanska personor avstod mer, med upp till 14 procentenheter; äldre, högerlutande, hyresvärds-, höginkomst- och ägarpersonor avstod mindre, med upp till 13 procentenheter. Modellerna spelade personor med lägre status som mindre säkra på vad de vet. Personaprompter är kända för att föra in sådana stereotyper i resonemanget (Gupta et al., 2024). Vissa modeller vägrade mycket oftare med en persona: Gemini 3.5 Flash sa ”kan inte säga” till 59 % av kopplingarna som persona och till ingen som sig själv.
Vilka modeller som bedömer väl
Diagrammen placerar varje modell efter hur ofta den säger ja (vågrätt) och hur informativa dess svar är (lodrätt). Informativiteten (informedness) skattas utan att man känner till de rätta svaren, utifrån hur modellerna stämmer överens med varandra (Dawid & Skene, 1979): 1 är en helt konsekvent bedömare, 0 ett svar som inte bär någon signal. Den mäter överensstämmelse med vad panelen som helhet kommer fram till, inte korrekthet, så en stark modell som inte håller med svagare kan få lägre poäng än den förtjänar.
De flesta modeller skiljer mellan kopplingar: de säger ja till mellan en fjärdedel och två tredjedelar av kopplingarna, och deras svar bär signal. Claude Sonnet 5.5 och DeepSeek V4 Flash stämmer mest överens med panelen. Mindre modeller som Gemma 3 4B och Command R7B bär mindre. Schematron, en modell byggd för att extrahera data snarare än att bedöma påståenden, sa ”kan inte säga” till nästan allt, och det den faktiskt besvarade bär nästan ingen signal.
Har modeller egna åsikter?
Om personor inte formar svaren har kanske modellerna själva olika teorier om problemet, där en skyller på reglering och en annan på spekulation. En fjärdedel av variationen bestod av att modeller läste samma koppling olika, så vi letade efter riktningarna i den skillnaden: en modell som placerar varje modell och varje koppling på några få dimensioner, utifrån modellernas svar som sig själva. En dimension räknas bara om den är stabil, det vill säga om en separat anpassning på två halvor av kopplingarna placerar modellerna på ungefär samma ställen.
En dimension var stabil, och den var ingen teori. I ena änden fanns kopplingar som knappt är begripliga, som att ”lyxlägenheter köpta av utländska investerare” leder till ”USA tar emot 600 000 till 1,2 miljoner invandrare per år”, vilka de svagare modellerna godtog. I den andra änden fanns en sammanhängande mekanism, invånarnas röster och etablerade aktörers intressen som håller utbudet begränsat, som de starkare modellerna alla godtog. Dimensionen är hur väl en modell bedömer: de starka modellerna ligger nära varandra, och varje svag modell avviker från dem på sitt eget sätt.
Bland de elva starkare modellerna, anpassade på studiens 120 kopplingar, var ingenting stabilt. Det var för få kopplingar. Anpassat på rummets alla 870 kopplingar, besvarade av samma elva modeller som sig själva, framträdde en skillnad, och den är stabil: anpassade separat på två halvor av kopplingarna hamnar modellerna på nästan samma ställen (0,89).
I ena änden godtar modellerna kopplingar från människors intressen till politiska beslut: husägares intresse av stigande priser som leder till en regerings utbudshämmande ändringar, invånarnas röster som leder till Proposition 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex och DeepSeek ligger där. I den andra änden godtar modellerna kopplingar från hinder in i utbudsmekanismen: reglering, etablerade aktörers intressen, kommuner som vägrar billiga lägenheter och äganderätt, som var och en leder till ”fler bostäder sänker priserna”. Mistral Small, Ministral 8B, Laguna och Qwen ligger där. Grovt sett förklarar den ena sidan bostadsfrågan genom vem som vinner politiskt, den andra genom vad som blockerar utbudet. Den tolkningen är vår, utifrån kopplingarna i varje ände. Den andra dimensionen placerar båda GPT-OSS-modellerna i ena änden, men dess kopplingar delar inget tema som vi kan sätta namn på.
Variationen stämmer med detta. Bland de elva starkare modellerna förklarar kopplingen i sig 68 % av den, mot 52 % med alla 21 modeller, och modellspecifika läsningar sjunker från 24 % till 8 %: ungefär två tredjedelar av det som såg ut som olika läsningar kom från de svagare modellerna. Resten är mindre, men det är den konsekventa skillnaden ovan.
Vad det betyder för True Causes
En panel av modeller erbjuder omdöme, med ett smalt spann av åsikter. Personor tillför inga perspektiv. Kapabla modeller är överens om de flesta kopplingar och skiljer sig konsekvent åt om resten, längs en linje mellan politiska förklaringar och utbudsförklaringar. Det är ett spann, men ett smalt, bestämt av hur modellerna tränades: inte det spann av åsikter som människor med olika erfarenheter skulle bidra med. Forskning om modeller som sammanfattar överläggningar pekar åt samma håll: sammanfattningarna underrepresenterar minoritetsståndpunkter, över 18 modeller (Zhu et al., 2025), och uttalanden skrivna för att hitta konsensus kan vinna medhåll genom sin ton mer än genom sitt innehåll (Tsai et al., 2024). På True Causes talar en modell inte för ett rum. Den skriver eller bedömer enskilda kopplingar, varje bedömning räknas, och en delad röst står kvar på kartan som en delad röst.
Att välja en panel handlar först om kvalitet, sedan om balans. Den största skillnaden mellan modeller är hur väl de bedömer, så en panel bör bestå av kapabla modeller, med de svaga utelämnade. Bland kapabla modeller lutar familjerna åt olika håll, så en panel bör hämta från flera, och ingen enskild familj bör vara fler än resten.
Modeller bör sållas innan de får en plats. En modell som säger ja till allt, nej till allt eller ”kan inte säga” till allt tillför brus till varje par den bedömer. En kort kalibrering på kända kopplingar hittar dem.
Personor bör inte användas för att bedöma. De tillför avståenden och en statusstereotyp, och ingen mångfald i bedömningarna. Att skriva är en separat fråga. Ett rum med modeller med personor skriver varierade kort, men olika modeller skriver olika, och en modell skriver olika varje gång den tillfrågas, så varierade kort i sig visar inte att personorna gjorde något. Testet är detsamma som användes här för att bedöma: samma modeller skriver orsaker med och utan persona, och de distinkta orsaker som var och en ger räknas.
Rum med människor är annorlunda. En människa bidrar med det hen har sett, inte med en beskrivning av någon som kanske har sett det. Den här studien säger ingenting emot det; den säger att en modell som får veta att den är hyresgäst inte har levt som en. Där poängen är att ta reda på vad människor är oeniga om är det bara människor som kan bidra med det. I sådana rum är en modell mer användbar när den frågar än när den svarar: en fråga om ett kort, en i taget och utan egen åsikt (vad skulle du se om det här var sant? vad händer däremellan?), hjälper dess författare att göra orsaken tydlig utan att lägga modellens ord i hens mun.
Begränsningar
En fråga, bostäder; 120 kopplingar; fyra eller fem personor per modell, som var och en svarade en gång. Effekter som är mindre än vad den här uppläggningen kan se skulle inte synas. Personorna skrevs som rollbeskrivningar; starkare sätt att framkalla dem, som att be en modell resonera i rollen innan den svarar, kan flytta den längre, tillsammans med risken för karikatyr (Cheng et al., 2023). Informativitet mäter överensstämmelse med panelen, inte sanning, och modeller som används som bedömare av överläggningar stämmer sämre överens med människor än man kunde hoppas (Zhu et al., 2025): en panel som är överens med sig själv kan ändå ha fel åt samma håll. Skillnaden mellan kapabla modeller framträdde bara med alla 870 kopplingar; med 120 var den osynlig, så mindre skillnader kan fortfarande förbli osedda, och en mer omstridd fråga än bostäder skulle kunna dela modellerna ytterligare.
Referenser
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.