NOTES · JURATS DE MODELS
Digueu a un model qui és. Els seus judicis causals gairebé no canvien.
Octubre de 2026
Les sales de models de llenguatge de True Causes donen a cada model un personatge: una infermera que viu de lloguer, un jubilat propietari del seu habitatge, un petit promotor. La idea és que persones diferents veuen causes diferents, i que un jurat de models que les interpreten també les veuria. Si un model a qui es diu qui és respon com aquella persona és una pregunta coneguda (Argyle et al., 2023); nosaltres ho hem provat amb judicis causals.
A l’hora de jutjar, no hi respon. En 21 models i 14 personatges, el personatge assignat a un model no va canviar de cap manera que poguéssim mesurar quins vincles causals acceptava. Quin model era, en canvi, ho canviava molt.
L’estudi
Vam prendre 120 vincles d’una sala de registre públic sobre l’accessibilitat de l’habitatge, triats de manera que hi estiguessin representats per igual els vincles que la sala havia certificat, els que havia rebutjat i els que no havia pogut resoldre. Cadascun dels 21 models va respondre tots els vincles, una vegada com a si mateix i quatre o cinc vegades com a un personatge diferent: dotze personatges relacionats amb l’habitatge (llogaters i propietaris, un arrendador, un urbanista, un promotor, una organitzadora de llogaters, un paleta i d’altres), i dos bessons, la mateixa persona excepte per un fet, que viu de lloguer en lloc de ser propietària. Cada personatge el van interpretar set models. Això fa 119 places i 14.220 respostes, i cada plaça va respondre tots els vincles, de manera que cap resposta no depenia d’una altra.
Què va decidir les respostes
El vincle mateix explica aproximadament la meitat de tota la variació (52%): els models coincideixen en gran part sobre quins vincles són plausibles. La lectura pròpia que cada model fa de vincles concrets n’explica una altra quarta part (24%), sigui quin sigui el personatge que interpreta. La tendència general d’un model a dir que sí hi afegeix un 3%.
El personatge no hi va afegir res. La seva part de la variació en quins vincles rebien un sí va ser de 0,000; la seva part d’una inclinació general cap al sí, de 0,002. Una prova que intenta identificar el personatge a partir de les respostes d’una plaça, amb models en què no s’havia vist, no ho va fer millor que l’atzar (6,1% davant de 7,1%). I les places no es van moure en la direcció que predirien els trets del seu personatge: la correlació va ser zero. Quan un personatge sí que canviava una resposta, en entre l’1% i el 15% dels vincles segons el model, la canviava a l’atzar.
Això coincideix amb el que han trobat altres. Les variables de personatge expliquen poca part de la variància en tasques d’anotació (Hu & Collier, 2024), i el rol indicat en una instrucció de sistema no canvia de manera coherent les respostes d’un model (Zheng et al., 2024). Per a un model, una pregunta causal es llegeix com una pregunta sobre el món, no sobre qui la fa.
Què sí que van canviar els personatges: qui respon
Els personatges van fer que els models diguessin «no ho sé dir» més sovint, el 26% de les vegades davant del 19% com a si mateixos, i no de manera uniforme. Els personatges joves, amb ingressos baixos, de lloguer, d’esquerres i de fora dels EUA s’abstenien més, fins a 14 punts; els personatges grans, de dretes, arrendadors, amb ingressos alts i propietaris s’abstenien menys, fins a 13 punts. Els models interpretaven els personatges de menys estatus com a menys segurs del que saben. Se sap que les instruccions de personatge traslladen aquests estereotips al raonament (Gupta et al., 2024). Alguns models es negaven a respondre molt més sovint amb un personatge: Gemini 3.5 Flash va dir «no ho sé dir» al 59% dels vincles com a personatge i a cap com a si mateix.
Quins models jutgen bé
Els gràfics situen cada model segons amb quina freqüència diu que sí (en horitzontal) i com d’informatives són les seves respostes (en vertical). La informativitat s’estima sense conèixer les respostes correctes, a partir de com coincideixen els models entre si (Dawid & Skene, 1979): 1 és un jutge perfectament coherent, 0 una resposta que no aporta cap senyal. Mesura la coincidència amb el que troba el jurat en conjunt, no l’encert, de manera que un model fort que discrepa dels febles pot obtenir una puntuació més baixa del que mereix.
La majoria de models discriminen: diuen que sí a entre una quarta part i dues terceres parts dels vincles, i les seves respostes aporten senyal. Claude Sonnet 5.5 i DeepSeek V4 Flash són els que més coincideixen amb el jurat. Models més petits com Gemma 3 4B i Command R7B n’aporten menys. Schematron, un model fet per extreure dades i no per jutjar afirmacions, va dir «no ho sé dir» a gairebé tot, i el que sí que va respondre no aporta pràcticament cap senyal.
Els models tenen opinions pròpies?
Si els personatges no condicionen les respostes, potser els mateixos models sostenen teories diferents del problema, un culpant la regulació, un altre l’especulació. Una quarta part de la variació eren models que llegien el mateix vincle de manera diferent, així que vam buscar les direccions d’aquesta diferència: un model que situa cada model i cada vincle en unes quantes dimensions, a partir de les respostes dels models com a si mateixos. Una dimensió només compta si és estable, és a dir, si ajustar-la per separat en dues meitats dels vincles situa els models pràcticament als mateixos llocs.
Una dimensió era estable, i no era una teoria. En un extrem hi havia vincles que gairebé no tenen sentit, com ara «pisos de luxe comprats per inversors estrangers» que porten a «els Estats Units sumen entre 600.000 i 1,2 milions d’immigrants l’any», que els models més febles acceptaven. A l’altre extrem hi havia un mecanisme coherent, els vots dels residents i els interessos dels qui ja hi són mantenint l’oferta limitada, que tots els models més forts acceptaven. La dimensió és com de bé jutja un model: els models forts queden junts, i cada model feble se n’allunya a la seva manera.
Entre els onze models més forts, ajustats amb els 120 vincles de l’estudi, res no era estable. Eren massa pocs vincles. Ajustats amb els 870 vincles de la sala, responsos pels mateixos onze models com a si mateixos, va aparèixer una diferència, i és estable: ajustats per separat en dues meitats dels vincles, els models queden gairebé als mateixos llocs (0,89).
En un extrem, els models accepten vincles que van dels interessos de les persones a les decisions polítiques: l’interès dels propietaris que els preus pugin porta als canvis d’un govern contra l’oferta, els vots dels residents porten a la Proposició 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex i DeepSeek són en aquest extrem. A l’altre, els models accepten vincles que van dels obstacles al mecanisme de l’oferta: la regulació, els interessos dels qui ja hi són, els ajuntaments que rebutgen pisos de baix cost i els drets de propietat, cadascun portant a «més habitatges fan baixar els preus». Mistral Small, Ministral 8B, Laguna i Qwen són en aquest altre. A grans trets, un costat explica l’habitatge per qui hi guanya políticament, i l’altre pel que bloqueja l’oferta. Aquesta lectura és nostra, a partir dels vincles de cada extrem. La segona dimensió posa tots dos models GPT-OSS en un extrem, però els seus vincles no comparteixen cap tema que sapiguem anomenar.
La variació hi concorda. Entre els onze models més forts, el vincle mateix n’explica el 68%, davant del 52% amb els 21 models, i les lectures pròpies de cada model baixen del 24% al 8%: aproximadament dues terceres parts del que semblaven lectures diferents venien dels models més febles. La resta és més petita, però és la diferència coherent descrita més amunt.
Què vol dir això per a True Causes
Un jurat de models ofereix judici, amb un ventall estret de punts de vista. Els personatges no hi afegeixen perspectives. Els models capaços coincideixen en la majoria de vincles, i difereixen de manera coherent en la resta, al llarg d’una línia entre explicacions polítiques i explicacions d’oferta. És un ventall, però estret, determinat per com s’han entrenat els models: no és el ventall de punts de vista que aportarien persones amb experiències diferents. La recerca sobre models que resumeixen deliberacions apunta en el mateix sentit: els resums infrarepresenten les posicions minoritàries, en 18 models (Zhu et al., 2025), i les declaracions redactades per trobar consens poden obtenir adhesió més pel to que pel contingut (Tsai et al., 2024). A True Causes, un model no parla en nom d’una sala. Escriu o jutja vincles individuals, cada judici es compta, i una divisió queda al mapa com a divisió.
Triar un jurat és, primer, una qüestió de qualitat, i després d’equilibri. La diferència més gran entre models és com de bé jutgen, de manera que un jurat hauria d’estar format per models capaços, deixant-ne fora els febles. Entre els models capaços, les famílies s’inclinen cap a costats diferents, de manera que un jurat hauria de recórrer a diverses famílies, i cap família no n’hauria de superar en nombre la resta.
Els models s’han de filtrar abans d’ocupar una plaça. Un model que diu que sí a tot, que no a tot o «no ho sé dir» a tot afegeix soroll a cada parella que jutja. Una breu calibració amb vincles coneguts els detecta.
Els personatges no s’haurien de fer servir per jutjar. Hi afegeixen abstencions i un estereotip d’estatus, i cap diversitat de judici. Escriure és una qüestió a part. Una sala de models amb personatges escriu targetes variades, però models diferents escriuen de manera diferent, i un mateix model escriu de manera diferent cada vegada que se li demana, de manera que unes targetes variades no demostren per si soles que els personatges hagin fet res. La prova és la que s’ha fet servir aquí per jutjar: els mateixos models escriuen causes amb personatge i sense, i es compten les causes diferents que produeix cada opció.
Les sales de persones són diferents. Una persona aporta el que ha vist, no la descripció d’algú que podria haver-ho vist. Aquest estudi no diu res en contra d’això; diu que un model a qui es diu que és llogater no ha viscut com a llogater. Quan es tracta d’esbrinar en què discrepa la gent, només la gent ho pot aportar. En aquestes sales, un model és més útil preguntant que responent: una pregunta sobre una targeta, d’una en una i sense opinió pròpia (què veuríeu si això fos cert? què passa entremig?), ajuda el seu autor a deixar clara la causa sense posar-li a la boca les paraules del model.
Límits
Una sola pregunta, l’habitatge; 120 vincles; quatre o cinc personatges per model, cadascun responent una vegada. No es veurien efectes més petits del que pot detectar aquest disseny. Els personatges es van redactar com a descripcions de rol; maneres més fortes d’induir-los, com demanar a un model que raoni en el paper abans de respondre, el podrien moure més, juntament amb el risc de caricatura (Cheng et al., 2023). La informativitat mesura la coincidència amb el jurat, no la veritat, i els models que fan de jutges de deliberacions coincideixen amb les persones menys del que seria desitjable (Zhu et al., 2025): un jurat que coincideix amb si mateix encara es pot equivocar en la mateixa direcció. La diferència entre models capaços només va aparèixer amb els 870 vincles; amb 120 era invisible, de manera que encara podrien passar desapercebudes diferències més petites, i una pregunta més disputada que l’habitatge podria dividir més els models.
Referències
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.