NOTE · PANELURI DE MODELE
Spuneți-i unui model cine este. Judecățile sale cauzale aproape că nu se schimbă.
Octombrie 2026
Sălile de modele lingvistice de pe True Causes îi dau fiecărui model o persona: o asistentă medicală care stă cu chirie, un proprietar pensionar, un mic dezvoltator imobiliar. Ideea este că oameni diferiți văd cauze diferite, iar un panel de modele care îi joacă pe acești oameni le-ar vedea și el. Dacă un model căruia i se spune cine este răspunde ca persoana respectivă este o întrebare cunoscută (Argyle et al., 2023); noi am testat-o pe judecăți cauzale.
Pentru judecare, nu răspunde așa. La 21 de modele și 14 persona, persona dată unui model nu a schimbat în nicio măsură pe care am putut-o detecta legăturile cauzale pe care le-a acceptat. Modelul în sine a schimbat însă foarte mult.
Studiul
Am luat 120 de legături dintr-o sală bazată pe surse publice despre accesibilitatea locuințelor, alese astfel încât legăturile pe care sala le-a certificat, cele pe care le-a respins și cele pe care nu le-a putut tranșa să fie reprezentate în mod egal. Fiecare dintre cele 21 de modele a răspuns la fiecare legătură, o dată ca el însuși și de patru sau cinci ori ca o altă persona: douăsprezece persona legate de locuințe (chiriași și proprietari, un proprietar care închiriază, un urbanist, un dezvoltator imobiliar, un organizator al chiriașilor, un muncitor în construcții și alții) și doi gemeni, aceeași persoană cu excepția unui singur fapt: stă cu chirie în loc să dețină locuința. Fiecare persona a fost jucată de șapte modele. Asta înseamnă 119 locuri și 14.220 de răspunsuri, fiecare loc răspunzând la fiecare legătură, astfel încât niciun răspuns nu a depins de altul.
Ce a determinat răspunsurile
Legătura însăși explică aproximativ jumătate din toată variația (52%): modelele sunt în mare parte de acord asupra legăturilor plauzibile. Felul propriu al modelului de a citi anumite legături explică încă un sfert (24%), indiferent ce persona joacă. Tendința generală a unui model de a spune da adaugă 3%.
Persona nu a adăugat nimic. Ponderea ei în variația legăturilor care au primit un da a fost 0,000; ponderea ei într-o înclinație generală spre da, 0,002. Un test care încearcă să identifice persona din răspunsurile unui loc, folosind modele în care nu fusese văzută, nu s-a descurcat mai bine decât întâmplarea (6,1% față de 7,1%). Iar locurile nu s-au deplasat în direcția pe care ar fi prezis-o trăsăturile persona lor: corelația a fost zero. Când o persona a schimbat totuși un răspuns, la între 1% și 15% din legături, în funcție de model, l-a schimbat la întâmplare.
Acest lucru concordă cu ce au găsit alții. Variabilele de persona explică puțin din varianța în sarcinile de adnotare (Hu și Collier, 2024), iar rolul numit într-un prompt de sistem nu schimbă în mod consecvent răspunsurile unui model (Zheng et al., 2024). O întrebare cauzală i se pare unui model o întrebare despre lume, nu despre persoana care o pune.
Ce au schimbat totuși persona: cine răspunde
Persona i-au făcut pe modele să spună „nu pot spune” mai des, în 26% din cazuri, față de 19% ca ele însele, și nu în mod uniform. Persona tinere, cu venituri mici, chiriașe, de stânga și din afara SUA s-au abținut mai des, cu până la 14 puncte; persona în vârstă, de dreapta, proprietari care închiriază, cu venituri mari și proprietari de locuințe s-au abținut mai rar, cu până la 13 puncte. Modelele le-au jucat pe persona cu statut mai scăzut ca fiind mai puțin sigure pe ce știu. Se știe că prompturile de persona duc astfel de stereotipuri în raționament (Gupta et al., 2024). Unele modele au refuzat mult mai des cu o persona: Gemini 3.5 Flash a spus „nu pot spune” la 59% din legături ca persona și la niciuna ca el însuși.
Care modele judecă bine
Graficele așază fiecare model după cât de des spune da (pe orizontală) și cât de informative sunt răspunsurile sale (pe verticală). Informativitatea este estimată fără a cunoaște răspunsurile corecte, din felul în care modelele sunt de acord între ele (Dawid și Skene, 1979): 1 înseamnă un evaluator perfect consecvent, 0 un răspuns care nu poartă niciun semnal. Ea măsoară acordul cu ceea ce găsește panelul în ansamblu, nu corectitudinea, așa că un model puternic care nu este de acord cu modele mai slabe poate obține un scor mai mic decât merită.
Majoritatea modelelor fac distincții: spun da la între un sfert și două treimi din legături, iar răspunsurile lor poartă semnal. Claude Sonnet 5.5 și DeepSeek V4 Flash sunt cel mai mult de acord cu panelul. Modelele mai mici, precum Gemma 3 4B și Command R7B, poartă mai puțin semnal. Schematron, un model construit pentru extragerea datelor, nu pentru judecarea afirmațiilor, a spus „nu pot spune” la aproape orice, iar puținele lui răspunsuri nu poartă aproape niciun semnal.
Au modelele păreri proprii?
Dacă persona nu modelează răspunsurile, poate că modelele însele au teorii diferite despre problemă, unul dând vina pe reglementare, altul pe speculă. Un sfert din variație venea din faptul că modelele citeau aceeași legătură diferit, așa că am căutat direcțiile acestei diferențe: un model statistic care așază fiecare model și fiecare legătură pe câteva dimensiuni, pornind de la răspunsurile modelelor ca ele însele. O dimensiune contează doar dacă este stabilă, adică dacă, ajustată separat pe două jumătăți ale legăturilor, pune modelele cam în aceleași locuri.
O singură dimensiune a fost stabilă, și nu era o teorie. La un capăt se aflau legături care abia au sens, precum „apartamente de lux cumpărate de investitori străini” care ar duce la „America primește între 600.000 și 1,2 milioane de imigranți pe an”, pe care modelele mai slabe le-au acceptat. La celălalt capăt se afla un singur mecanism coerent, voturile locuitorilor și interesele celor deja instalați care țin oferta limitată, pe care modelele mai puternice l-au acceptat toate. Dimensiunea este cât de bine judecă un model: modelele puternice stau aproape unele de altele, iar fiecare model slab se îndepărtează de ele în felul său.
Între cele unsprezece modele mai puternice, ajustat pe cele 120 de legături ale studiului, nimic nu a fost stabil. Erau prea puține legături. Ajustat pe toate cele 870 de legături ale sălii, la care au răspuns aceleași unsprezece modele ca ele însele, a apărut o diferență, iar aceasta este stabilă: ajustate separat pe două jumătăți ale legăturilor, modelele ajung aproape în aceleași locuri (0,89).
La un capăt, modelele acceptă legături de la interesele oamenilor la decizii politice: interesul proprietarilor de locuințe pentru creșterea prețurilor care duce la schimbările unui guvern împotriva ofertei, voturile locuitorilor care duc la Propunerea 13. Acolo se află Gemini 3.5 Flash, Claude Sonnet 5.5, Nex și DeepSeek. La celălalt capăt, modelele acceptă legături de la bariere spre mecanismul ofertei: reglementarea, interesele celor deja instalați, consiliile locale care refuză apartamente ieftine și drepturile de proprietate, fiecare ducând la „mai multe locuințe reduc prețurile”. Acolo se află Mistral Small, Ministral 8B, Laguna și Qwen. În linii mari, o parte explică locuințele prin cine câștigă politic, cealaltă prin ce blochează oferta. Această interpretare este a noastră, pornind de la legăturile de la fiecare capăt. A doua dimensiune pune ambele modele GPT-OSS la un capăt, dar legăturile ei nu au în comun nicio temă pe care să o putem numi.
Variația confirmă. Între cele unsprezece modele mai puternice, legătura însăși explică 68% din ea, față de 52% cu toate cele 21 de modele, iar lecturile specifice fiecărui model scad de la 24% la 8%: aproximativ două treimi din ceea ce părea a fi lecturi diferite veneau de la modelele mai slabe. Restul este mai mic, dar este diferența consecventă de mai sus.
Ce înseamnă asta pentru True Causes
Un panel de modele oferă judecată, cu o gamă îngustă de puncte de vedere. Persona nu adaugă perspective. Modelele capabile sunt de acord asupra majorității legăturilor și diferă consecvent asupra celorlalte, de-a lungul unei linii între explicațiile politice și cele legate de ofertă. Este o gamă, dar una îngustă, stabilită de felul în care au fost antrenate modelele: nu gama de puncte de vedere pe care le-ar aduce oameni cu experiențe diferite. Cercetările despre modelele care rezumă deliberări arată în aceeași direcție: rezumatele subreprezintă pozițiile minoritare, la 18 modele (Zhu et al., 2025), iar declarațiile scrise pentru a găsi consensul pot câștiga acordul mai mult prin ton decât prin conținut (Tsai et al., 2024). Pe True Causes un model nu vorbește în numele unei săli. El scrie sau judecă legături individuale, fiecare judecată este numărată, iar un vot divizat rămâne pe hartă ca atare.
Alegerea unui panel ține întâi de calitate, apoi de echilibru. Cea mai mare diferență dintre modele este cât de bine judecă, așa că un panel ar trebui să fie format din modele capabile, fără cele slabe. Între modelele capabile, familiile înclină în direcții diferite, așa că un panel ar trebui să se sprijine pe mai multe familii, fără ca vreuna să le depășească numeric pe celelalte.
Modelele ar trebui verificate înainte de a primi un loc. Un model care spune da la orice, nu la orice sau „nu pot spune” la orice adaugă zgomot la fiecare pereche pe care o judecă. O scurtă calibrare pe legături cunoscute îl depistează.
Persona nu ar trebui folosite pentru judecare. Ele adaugă abțineri și un stereotip de statut, dar nicio diversitate de judecată. Scrierea este o altă întrebare. O sală de modele cu persona scrie carduri variate, dar modele diferite scriu diferit, iar același model scrie diferit de fiecare dată când este întrebat, așa că simpla varietate a cardurilor nu arată că persona au avut vreun efect. Testul este cel folosit aici pentru judecare: aceleași modele scriu cauze cu și fără persona, iar cauzele distincte produse de fiecare variantă sunt numărate.
Sălile de oameni sunt altceva. O persoană aduce ce a văzut, nu descrierea cuiva care ar fi putut vedea. Acest studiu nu spune nimic împotriva acestui lucru; spune că un model căruia i se spune că este chiriaș nu a trăit ca unul. Acolo unde scopul este să aflați asupra căror lucruri nu sunt oamenii de acord, doar oamenii pot oferi răspunsul. În aceste săli, un model este mai util când întreabă decât când răspunde: o întrebare despre un card, pe rând și fără o părere proprie (ce ați vedea dacă acest lucru ar fi adevărat? ce se întâmplă între cele două?), îl ajută pe autor să formuleze clar cauza, fără să-i pună în gură cuvintele modelului.
Limite
O singură întrebare, despre locuințe; 120 de legături; patru sau cinci persona pentru fiecare model, fiecare răspunzând o singură dată. Efectele mai mici decât poate detecta acest design nu ar apărea. Persona au fost scrise ca descrieri de rol; metode mai puternice de a le induce, precum cererea ca un model să raționeze în personaj înainte de a răspunde, l-ar putea deplasa mai mult, împreună cu riscul caricaturii (Cheng et al., 2023). Informativitatea măsoară acordul cu panelul, nu adevărul, iar modelele folosite ca evaluatori ai deliberării sunt de acord cu oamenii mai puțin decât s-ar spera (Zhu et al., 2025): un panel care este de acord cu sine poate greși totuși în aceeași direcție. Diferența dintre modelele capabile a apărut doar cu toate cele 870 de legături; cu 120 era invizibilă, așa că diferențe mai mici ar putea trece încă neobservate, iar o întrebare mai disputată decât locuințele ar putea diviza modelele și mai mult.
Bibliografie
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C. și Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T. și Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P. și Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A. și Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T. și Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R. și Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M. și Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A. și Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.