NOTITIES · MODELPANELS
Vertel een model wie het is. Zijn causale oordelen veranderen nauwelijks.
oktober 2026
Ruimtes van taalmodellen op True Causes geven elk model een persona: een verpleegkundige die huurt, een gepensioneerde huiseigenaar, een kleine projectontwikkelaar. Het idee is dat verschillende mensen verschillende oorzaken zien, en dat een panel van modellen dat hen speelt dat ook zou doen. Of een model dat te horen krijgt wie het is, antwoordt zoals die persoon, is een bekende vraag (Argyle et al., 2023); wij hebben het getest op causale oordelen.
Bij het oordelen doet het dat niet. Over 21 modellen en 14 persona’s veranderde de persona die een model kreeg op geen enkele manier die we konden meten welke causale koppelingen het aanvaardde. Welk model het was, veranderde heel veel.
Het onderzoek
We namen 120 koppelingen uit een ruimte met openbaar verslag over de betaalbaarheid van woningen, zo gekozen dat koppelingen die de ruimte bevestigde, verwierp en niet kon beslissen gelijk vertegenwoordigd waren. Elk van de 21 modellen beantwoordde elke koppeling, één keer als zichzelf en vier of vijf keer als een andere persona: twaalf persona’s rond wonen (huurders en eigenaren, een verhuurder, een planoloog, een projectontwikkelaar, een organisator van huurders, een bouwvakker en anderen), en twee tweelingen, dezelfde persoon op één feit na: huren in plaats van bezitten. Elke persona werd door zeven modellen gespeeld. Dat zijn 119 plekken en 14,220 antwoorden, waarbij elke plek elke koppeling beantwoordde, zodat geen antwoord van een ander afhing.
Wat de antwoorden bepaalde
De koppeling zelf verklaart ongeveer de helft van alle variatie (52%): modellen zijn het grotendeels eens over welke koppelingen plausibel zijn. De eigen lezing van een model van bepaalde koppelingen verklaart nog een kwart (24%), welke persona het ook speelt. De algemene neiging van een model om ja te zeggen voegt 3% toe.
De persona voegde niets toe. Het aandeel ervan in de variatie in welke koppelingen een ja kregen, was 0.000; het aandeel in een algemene neiging naar ja, 0.002. Een test die probeert de persona te herkennen uit de antwoorden van een plek, aan de hand van modellen waarin die niet was gezien, deed het niet beter dan toeval (6.1% tegenover 7.1%). En plekken bewogen niet in de richting die de kenmerken van hun persona zouden voorspellen: de correlatie was nul. Als een persona wel een antwoord veranderde, bij tussen 1% en 15% van de koppelingen afhankelijk van het model, veranderde ze het willekeurig.
Dit komt overeen met wat anderen hebben gevonden. Persona-variabelen verklaren weinig van de variantie bij annotatietaken (Hu & Collier, 2024), en de rol die in een systeemprompt wordt genoemd, verandert de antwoorden van een model niet consequent (Zheng et al., 2024). Een causale vraag leest voor een model als een vraag over de wereld, niet over de persoon die vraagt.
Wat persona’s wel veranderden: wie antwoordt
Persona’s lieten modellen vaker ‘kan ik niet zeggen’ antwoorden, 26% van de tijd tegenover 19% als zichzelf, en niet gelijkmatig. Jonge, huurende en linkse persona’s, persona’s met een laag inkomen en persona’s van buiten de VS onthielden zich vaker, tot 14 punten; oudere en rechtse persona’s, verhuurders, persona’s met een hoog inkomen en eigenaren onthielden zich minder vaak, tot 13 punten. De modellen speelden persona’s met een lagere status als minder zeker van wat ze weten. Het is bekend dat persona-prompts zulke stereotypen meenemen in het redeneren (Gupta et al., 2024). Sommige modellen weigerden met een persona veel vaker: Gemini 3.5 Flash antwoordde ‘kan ik niet zeggen’ bij 59% van de koppelingen als persona en bij geen enkele als zichzelf.
Welke modellen goed oordelen
De grafieken plaatsen elk model naar hoe vaak het ja zegt (horizontaal) en hoe informatief zijn antwoorden zijn (verticaal). De informativiteit (informedness) wordt geschat zonder de juiste antwoorden te kennen, uit hoe de modellen met elkaar overeenstemmen (Dawid & Skene, 1979): 1 is een volkomen consistente beoordelaar, 0 een antwoord dat geen signaal draagt. Ze meet overeenstemming met wat het panel als geheel vindt, niet juistheid, dus een sterk model dat het oneens is met zwakkere modellen kan lager scoren dan het verdient.
De meeste modellen maken onderscheid: ze zeggen ja tegen tussen een kwart en twee derde van de koppelingen, en hun antwoorden dragen signaal. Claude Sonnet 5.5 en DeepSeek V4 Flash stemmen het meest overeen met het panel. Kleinere modellen zoals Gemma 3 4B en Command R7B dragen minder. Schematron, een model dat is gebouwd om gegevens te extraheren in plaats van beweringen te beoordelen, antwoordde ‘kan ik niet zeggen’ op bijna alles, en wat het wel beantwoordde, draagt vrijwel geen signaal.
Hebben modellen eigen opvattingen?
Als persona’s de antwoorden niet vormen, hebben de modellen zelf misschien verschillende theorieën over het probleem: de een geeft regelgeving de schuld, de ander speculatie. Een kwart van de variatie bestond uit modellen die dezelfde koppeling verschillend lazen, dus zochten we naar de richtingen van dat verschil: een model dat elk model en elke koppeling op een paar dimensies plaatst, op basis van de antwoorden van de modellen als zichzelf. Een dimensie telt alleen als ze stabiel is, dat wil zeggen als ze, apart geschat op twee helften van de koppelingen, de modellen op ongeveer dezelfde plaatsen zet.
Eén dimensie was stabiel, en het was geen theorie. Aan het ene uiteinde lagen koppelingen die nauwelijks zinnig zijn, zoals ‘luxeappartementen gekocht door buitenlandse investeerders’ die leiden tot ‘Amerika krijgt er jaarlijks 600,000 tot 1.2 miljoen immigranten bij’, die de zwakkere modellen aanvaardden. Aan het andere uiteinde lag één samenhangend mechanisme, de stemmen van bewoners en de belangen van gevestigde partijen die het aanbod beperkt houden, dat de sterkere modellen allemaal aanvaardden. De dimensie is hoe goed een model oordeelt: de sterke modellen liggen dicht bij elkaar, en elk zwak model wijkt er op zijn eigen manier van af.
Onder de elf sterkere modellen, geschat op de 120 koppelingen van het onderzoek, was niets stabiel. Dat waren te weinig koppelingen. Geschat op alle 870 koppelingen van de ruimte, beantwoord door dezelfde elf modellen als zichzelf, verscheen er een verschil, en dat is stabiel: apart geschat op twee helften van de koppelingen komen de modellen op bijna dezelfde plaatsen terecht (0.89).
Aan het ene uiteinde aanvaarden modellen koppelingen van de belangen van mensen naar politieke besluiten: het belang van huiseigenaren bij stijgende prijzen dat leidt tot aanbodbeperkende wijzigingen van een regering, de stemmen van bewoners die leiden tot Proposition 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex en DeepSeek zitten daar. Aan het andere uiteinde aanvaarden modellen koppelingen van belemmeringen naar het aanbodmechanisme: regelgeving, de belangen van gevestigde partijen, gemeenten die goedkope flats weigeren en eigendomsrechten, die elk leiden tot ‘meer woningen verlagen de prijzen’. Mistral Small, Ministral 8B, Laguna en Qwen zitten daar. Ruwweg verklaart de ene kant wonen vanuit wie er politiek bij wint, de andere vanuit wat het aanbod blokkeert. Die lezing is van ons, op basis van de koppelingen aan elk uiteinde. De tweede dimensie zet beide GPT-OSS-modellen aan één uiteinde, maar de koppelingen daar hebben geen thema dat we kunnen benoemen.
De variatie bevestigt dit. Onder de elf sterkere modellen verklaart de koppeling zelf er 68% van, tegenover 52% met alle 21 modellen, en modelspecifieke lezingen dalen van 24% naar 8%: ongeveer twee derde van wat op verschillende lezingen leek, kwam van de zwakkere modellen. De rest is kleiner, maar het is het consequente verschil hierboven.
Wat dit betekent voor True Causes
Een panel van modellen biedt oordeelsvermogen, met een smal spectrum aan opvattingen. Persona’s voegen geen perspectieven toe. Capabele modellen zijn het over de meeste koppelingen eens en verschillen consequent over de rest, langs een lijn tussen politieke verklaringen en verklaringen vanuit het aanbod. Dat is een spectrum, maar een smal spectrum, bepaald door hoe de modellen zijn getraind: niet het spectrum aan opvattingen dat mensen met verschillende ervaringen zouden meebrengen. Onderzoek naar modellen die beraadslagingen samenvatten, wijst dezelfde kant op: de samenvattingen vertegenwoordigen minderheidsstandpunten te weinig, over 18 modellen (Zhu et al., 2025), en verklaringen die worden geschreven om consensus te vinden, kunnen instemming winnen door hun toon meer dan door hun inhoud (Tsai et al., 2024). Op True Causes spreekt een model niet namens een ruimte. Het schrijft of beoordeelt afzonderlijke koppelingen, elk oordeel wordt geteld, en verdeeldheid blijft als verdeeldheid op de kaart staan.
Bij het kiezen van een panel gaat het eerst om kwaliteit, dan om balans. Het grootste verschil tussen modellen is hoe goed ze oordelen, dus een panel moet bestaan uit capabele modellen, met de zwakke erbuiten gelaten. Onder capabele modellen neigen de families verschillende kanten op, dus een panel moet uit meerdere putten, en geen enkele familie mag de rest in aantal overtreffen.
Modellen moeten worden gescreend voordat ze een plek krijgen. Een model dat op alles ja zegt, op alles nee of op alles ‘kan ik niet zeggen’, voegt ruis toe aan elk paar dat het beoordeelt. Een korte kalibratie op bekende koppelingen spoort ze op.
Persona’s moeten niet worden gebruikt om te oordelen. Ze voegen onthoudingen en een statusstereotype toe, en geen diversiteit in oordelen. Schrijven is een aparte vraag. Een ruimte van modellen met persona’s schrijft gevarieerde kaartjes, maar verschillende modellen schrijven verschillend, en één model schrijft elke keer dat het wordt gevraagd anders, dus gevarieerde kaartjes alleen tonen niet aan dat de persona’s iets deden. De test is dezelfde als die hier voor het oordelen is gebruikt: dezelfde modellen schrijven oorzaken met en zonder persona, en de verschillende oorzaken die elk oplevert, worden geteld.
Ruimtes van mensen zijn anders. Een persoon brengt mee wat hij of zij heeft gezien, niet een beschrijving van iemand die het misschien heeft gezien. Dit onderzoek zegt daar niets tegen; het zegt dat een model dat te horen krijgt dat het huurder is, niet als huurder heeft geleefd. Waar het erom gaat te ontdekken waarover mensen het oneens zijn, kunnen alleen mensen dat leveren. In die ruimtes is een model nuttiger als vrager dan als antwoorder: een vraag over een kaartje, één tegelijk en zonder eigen opvatting (wat zou je zien als dit waar was? wat gebeurt er tussenin?), helpt de schrijver de oorzaak duidelijk te maken zonder hem of haar de woorden van het model in de mond te leggen.
Beperkingen
Eén vraag, over wonen; 120 koppelingen; vier of vijf persona’s per model, die elk één keer antwoordden. Effecten die kleiner zijn dan deze opzet kan zien, zouden niet zichtbaar worden. Persona’s waren geschreven als rolbeschrijvingen; sterkere manieren om ze op te roepen, zoals een model vragen in zijn rol te redeneren voordat het antwoordt, kunnen het verder doen bewegen, samen met het risico op karikatuur (Cheng et al., 2023). Informativiteit meet overeenstemming met het panel, niet waarheid, en modellen die als beoordelaars van beraadslaging worden gebruikt, stemmen minder goed met mensen overeen dan je zou hopen (Zhu et al., 2025): een panel dat het met zichzelf eens is, kan zich nog steeds in dezelfde richting vergissen. Het verschil tussen capabele modellen verscheen pas met alle 870 koppelingen; met 120 was het onzichtbaar, dus kleinere verschillen zouden nog steeds onopgemerkt kunnen blijven, en een meer omstreden vraag dan wonen zou modellen verder kunnen verdelen.
Literatuur
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.