NOTE · PANEL DI MODELLI
Di’ a un modello chi è. I suoi giudizi causali cambiano appena.
Ottobre 2026
Le stanze di modelli linguistici su True Causes danno a ogni modello un personaggio (persona): un’infermiera in affitto, un pensionato proprietario di casa, un piccolo costruttore. L’idea è che persone diverse vedono cause diverse, e che un panel di modelli che le interpretano farebbe lo stesso. Se un modello a cui si dice chi è risponda come quella persona è una questione nota (Argyle et al., 2023); noi l’abbiamo verificato sui giudizi causali.
Per giudicare, no. Su 21 modelli e 14 personaggi, il personaggio assegnato a un modello ha cambiato i collegamenti causali che accettava in una misura che non siamo riusciti a misurare. Quale modello fosse cambiava moltissimo.
Lo studio
Abbiamo preso 120 collegamenti da una stanza a registrazione pubblica sull’accessibilità economica della casa, scelti in modo che i collegamenti che la stanza aveva certificato, respinto e non era riuscita a risolvere fossero rappresentati in egual misura. Ognuno dei 21 modelli ha risposto a ogni collegamento, una volta come sé stesso e quattro o cinque volte come un personaggio diverso: dodici personaggi legati alla casa (inquilini e proprietari, un locatore, un urbanista, un costruttore, un organizzatore di inquilini, un operaio edile e altri), e due gemelli, la stessa persona tranne che per un fatto, in affitto invece che proprietaria. Ogni personaggio è stato interpretato da sette modelli. In tutto 119 posti e 14,220 risposte, con ogni posto che risponde a ogni collegamento, così nessuna risposta dipendeva da un’altra.
Che cosa ha deciso le risposte
Il collegamento stesso spiega circa metà di tutta la variazione (52%): i modelli concordano in gran parte su quali collegamenti siano plausibili. La lettura che il modello dà di singoli collegamenti spiega un altro quarto (24%), qualunque personaggio interpreti. La tendenza generale di un modello a dire sì aggiunge il 3%.
Il personaggio non ha aggiunto nulla. La sua quota della variazione in quali collegamenti ricevevano un sì era 0.000; la sua quota di una propensione generale verso il sì, 0.002. Un test che cerca di identificare il personaggio dalle risposte di un posto, su modelli in cui non era stato visto, non ha fatto meglio del caso (6.1% contro 7.1%). E i posti non si spostavano nella direzione che le caratteristiche del loro personaggio avrebbero fatto prevedere: la correlazione era zero. Quando un personaggio cambiava davvero una risposta, su una quota di collegamenti tra l’1% e il 15% a seconda del modello, la cambiava a caso.
Questo concorda con quanto hanno trovato altri. Le variabili di personaggio spiegano poco della varianza nei compiti di annotazione (Hu & Collier, 2024), e il ruolo indicato in un prompt di sistema non cambia in modo coerente le risposte di un modello (Zheng et al., 2024). Per un modello, una domanda causale si legge come una domanda sul mondo, non sulla persona che la pone.
Che cosa hanno cambiato i personaggi: chi risponde
I personaggi hanno fatto dire ai modelli «non so dire» più spesso, il 26% delle volte contro il 19% come sé stessi, e non in modo uniforme. I personaggi giovani, a basso reddito, in affitto, di sinistra e non statunitensi si astenevano di più, fino a 14 punti; quelli più anziani, di destra, locatori, ad alto reddito e proprietari si astenevano di meno, fino a 13 punti. I modelli interpretavano i personaggi di status più basso come meno sicuri di ciò che sanno. È noto che i prompt di personaggio portano questi stereotipi nel ragionamento (Gupta et al., 2024). Alcuni modelli rifiutavano molto di più con un personaggio: Gemini 3.5 Flash ha detto «non so dire» al 59% dei collegamenti come personaggio e a nessuno come sé stesso.
Quali modelli giudicano bene
I grafici collocano ogni modello in base a quanto spesso dice sì (in orizzontale) e a quanto sono informative le sue risposte (in verticale). L’informatività (informedness) è stimata senza conoscere le risposte giuste, da come i modelli concordano tra loro (Dawid & Skene, 1979): 1 è un giudice perfettamente coerente, 0 una risposta che non porta alcun segnale. Misura l’accordo con ciò che trova il panel nel suo insieme, non la correttezza, quindi un modello forte che non è d’accordo con quelli più deboli può ottenere un punteggio più basso di quanto meriti.
La maggior parte dei modelli discrimina: dice sì a una quota di collegamenti tra un quarto e due terzi, e le sue risposte portano segnale. Claude Sonnet 5.5 e DeepSeek V4 Flash sono quelli che concordano di più con il panel. Modelli più piccoli come Gemma 3 4B e Command R7B ne portano meno. Schematron, un modello costruito per estrarre dati invece che per giudicare affermazioni, ha detto «non so dire» quasi a tutto, e ciò a cui ha risposto non porta quasi alcun segnale.
I modelli hanno opinioni proprie?
Se i personaggi non danno forma alle risposte, forse sono i modelli stessi ad avere teorie diverse del problema, uno che dà la colpa alle norme, un altro alla speculazione. Un quarto della variazione erano modelli che leggevano lo stesso collegamento in modo diverso, così abbiamo cercato le direzioni di quella differenza: un modello che colloca ogni modello e ogni collegamento su alcune dimensioni, a partire dalle risposte dei modelli come sé stessi. Una dimensione conta solo se è stabile, cioè se stimandola separatamente su due metà dei collegamenti i modelli finiscono più o meno negli stessi punti.
Una dimensione era stabile, e non era una teoria. A un estremo c’erano collegamenti che hanno poco senso, come «appartamenti di lusso comprati da investitori stranieri» che porta a «l’America aggiunge da 600,000 a 1.2 milioni di immigrati all’anno», che i modelli più deboli accettavano. All’altro estremo c’era un unico meccanismo coerente, i voti dei residenti e gli interessi di chi è già insediato che tengono limitata l’offerta, che i modelli più forti accettavano tutti. La dimensione è quanto bene un modello giudica: i modelli forti stanno vicini tra loro, e ogni modello debole se ne allontana a modo suo.
Tra gli undici modelli più forti, stimati sui 120 collegamenti dello studio, nulla era stabile. I collegamenti erano troppo pochi. Stimata su tutti gli 870 collegamenti della stanza, a cui hanno risposto gli stessi undici modelli come sé stessi, è comparsa una differenza, ed è stabile: stimandola separatamente su due metà dei collegamenti, i modelli finiscono quasi negli stessi punti (0.89).
A un estremo, i modelli accettano collegamenti dagli interessi delle persone alle decisioni politiche: l’interesse dei proprietari all’aumento dei prezzi che porta un governo a cambiamenti contrari all’offerta, i voti dei residenti che portano alla Proposition 13. Lì stanno Gemini 3.5 Flash, Claude Sonnet 5.5, Nex e DeepSeek. All’altro estremo, i modelli accettano collegamenti dagli ostacoli al meccanismo dell’offerta: le norme, gli interessi di chi è già insediato, i consigli comunali che rifiutano appartamenti a basso costo e i diritti di proprietà, ognuno dei quali porta a «più unità abitative riducono i prezzi». Lì stanno Mistral Small, Ministral 8B, Laguna e Qwen. A grandi linee, un lato spiega la casa attraverso chi ci guadagna politicamente, l’altro attraverso ciò che blocca l’offerta. Questa lettura è nostra, dai collegamenti a ciascun estremo. La seconda dimensione mette entrambi i modelli GPT-OSS a un estremo, ma i suoi collegamenti non hanno un tema comune che sappiamo nominare.
La variazione concorda. Tra gli undici modelli più forti, il collegamento stesso ne spiega il 68%, contro il 52% con tutti i 21 modelli, e le letture specifiche dei modelli scendono dal 24% all’8%: circa due terzi di ciò che sembravano letture diverse venivano dai modelli più deboli. Il resto è più piccolo, ma è la differenza coerente descritta sopra.
Che cosa significa per True Causes
Un panel di modelli offre giudizio, con una gamma ristretta di opinioni. I personaggi non aggiungono prospettive. I modelli capaci concordano sulla maggior parte dei collegamenti, e differiscono in modo coerente sul resto, lungo una linea tra spiegazioni politiche e spiegazioni legate all’offerta. È una gamma, ma ristretta, stabilita da come i modelli sono stati addestrati: non la gamma di opinioni che porterebbero persone con esperienze diverse. La ricerca sui modelli che riassumono le deliberazioni va nella stessa direzione: i riassunti sottorappresentano le posizioni di minoranza, su 18 modelli (Zhu et al., 2025), e le dichiarazioni scritte per trovare un consenso possono ottenere l’accordo più per il tono che per il contenuto (Tsai et al., 2024). Su True Causes un modello non parla a nome di una stanza. Scrive o giudica singoli collegamenti, ogni giudizio viene contato, e una divisione resta sulla mappa come divisione.
Scegliere un panel è prima di tutto una questione di qualità, poi di equilibrio. La differenza più grande tra i modelli è quanto bene giudicano, quindi un panel dovrebbe essere fatto di modelli capaci, lasciando fuori quelli deboli. Tra i modelli capaci, le famiglie pendono in direzioni diverse, quindi un panel dovrebbe attingere a più famiglie, e nessuna dovrebbe superare in numero le altre.
I modelli dovrebbero essere vagliati prima di avere un posto. Un modello che dice sì a tutto, no a tutto o «non so dire» a tutto aggiunge rumore a ogni coppia che giudica. Una breve calibrazione su collegamenti noti li individua.
I personaggi non dovrebbero essere usati per giudicare. Aggiungono astensioni e uno stereotipo di status, e nessuna varietà di giudizio. La scrittura è una questione a parte. Una stanza di modelli con personaggi scrive schede varie, ma modelli diversi scrivono in modo diverso, e uno stesso modello scrive in modo diverso ogni volta che glielo si chiede, quindi le schede varie da sole non mostrano che i personaggi abbiano fatto qualcosa. La prova è quella usata qui per il giudizio: gli stessi modelli scrivono cause con e senza un personaggio, e si contano le cause distinte che ciascuno produce.
Le stanze di persone sono diverse. Una persona porta ciò che ha visto, non la descrizione di qualcuno che potrebbe averlo visto. Questo studio non dice nulla contro questo; dice che un modello a cui si dice che è un inquilino non ha vissuto da inquilino. Dove lo scopo è scoprire su che cosa le persone non sono d’accordo, solo le persone possono fornirlo. In quelle stanze un modello è più utile a fare domande che a rispondere: una domanda su una scheda, una alla volta e senza un’opinione propria (che cosa vedresti se fosse vero? che cosa succede nel mezzo?), aiuta il suo autore a rendere chiara la causa senza mettergli in bocca le parole del modello.
Limiti
Una sola domanda, la casa; 120 collegamenti; quattro o cinque personaggi per modello, ognuno dei quali risponde una volta. Effetti più piccoli di quanto questo disegno riesca a vedere non emergerebbero. I personaggi erano scritti come descrizioni di ruolo; modi più forti di indurli, come chiedere a un modello di ragionare nei panni del personaggio prima di rispondere, potrebbero spostarlo di più, insieme al rischio di caricatura (Cheng et al., 2023). L’informatività misura l’accordo con il panel, non la verità, e i modelli usati come giudici della deliberazione concordano con le persone meno di quanto si sperebbe (Zhu et al., 2025): un panel che concorda con sé stesso può comunque sbagliare tutto nella stessa direzione. La differenza tra modelli capaci è comparsa solo con tutti gli 870 collegamenti; con 120 era invisibile, quindi differenze più piccole potrebbero ancora passare inosservate, e una domanda più contesa della casa potrebbe dividere di più i modelli.
Riferimenti
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.