JEGYZETEK · MODELLPANELEK
Mondja meg egy modellnek, kicsoda. Az oksági ítéletei alig változnak.
2026. október
A True Causes nyelvi modellekből álló szobái minden modellnek personát adnak: egy albérletben élő ápolóét, egy nyugdíjas lakástulajdonosét, egy kisebb ingatlanfejlesztőét. Az elképzelés az, hogy különböző emberek különböző okokat látnak, és egy őket megjátszó modellpanel is így tenne. Hogy egy modell, amelynek megmondják, kicsoda, úgy válaszol-e, mint az a személy, ismert kérdés (Argyle et al., 2023); mi oksági ítéleteken teszteltük.
Az ítélkezésben nem így válaszol. 21 modellen és 14 personán át a modellnek adott persona semmi általunk mérhető módon nem változtatott azon, mely oksági kapcsolatokat fogadta el. Az viszont, hogy melyik modellről volt szó, sokat változtatott.
A vizsgálat
Egy lakhatási megfizethetőséggel foglalkozó nyilvános jegyzőkönyvű szobából 120 kapcsolatot vettünk, úgy válogatva, hogy a szoba által igazolt, elutasított és el nem döntött kapcsolatok egyenlő arányban szerepeljenek. A 21 modell mindegyike minden kapcsolatra válaszolt, egyszer önmagaként, és négyszer-ötször egy-egy másik personaként: tizenkét lakhatási personaként (bérlők és tulajdonosok, egy bérbeadó, egy településtervező, egy fejlesztő, egy bérlői érdekvédő, egy építőipari segédmunkás és mások), valamint két ikerként, aki ugyanaz a személy egyetlen tény kivételével: bérel ahelyett, hogy saját lakása lenne. Minden personát hét modell játszott. Ez 119 hely és 14 220 válasz, minden hely minden kapcsolatra válaszolt, így egyetlen válasz sem függött egy másiktól.
Mi döntötte el a válaszokat
Maga a kapcsolat a teljes szóródás nagyjából felét magyarázza (52%): a modellek nagyrészt egyetértenek abban, mely kapcsolatok hihetők. A modell saját olvasata az egyes kapcsolatokról további negyedet magyaráz (24%), bármilyen personát játszik is. A modell általános hajlama az igenre 3%-ot tesz hozzá.
A persona semmit sem tett hozzá. Részesedése abból a szóródásból, hogy mely kapcsolatok kaptak igent, 0,000 volt; az igen felé való általános hajlásból 0,002. Egy teszt, amely egy hely válaszaiból próbálja azonosítani a personát, olyan modelleken, amelyeknél nem látta, nem teljesített jobban a véletlennél (6,1% a 7,1%-kal szemben). A helyek pedig nem mozdultak el abba az irányba, amelyet a personájuk jellemzői előre jeleztek volna: a korreláció nulla volt. Amikor egy persona mégis megváltoztatott egy választ, a modelltől függően a kapcsolatok 1–15%-ánál, véletlenszerűen változtatta meg.
Ez egybevág mások eredményeivel. A personaváltozók kevéssé magyarázzák a szóródást annotálási feladatokban (Hu & Collier, 2024), és a rendszerpromptban megnevezett szerep nem változtatja meg következetesen egy modell válaszait (Zheng et al., 2024). Egy oksági kérdést a modell a világra vonatkozó kérdésként olvas, nem a kérdezőre vonatkozóként.
Amin a personák változtattak: ki válaszol
A personák hatására a modellek gyakrabban mondták, hogy „nem tudom megítélni”: az esetek 26%-ában, szemben a 19%-kal önmagukként, és nem egyenletesen. A fiatal, alacsony jövedelmű, bérlő, baloldali és nem amerikai personák többször tartózkodtak, legfeljebb 14 ponttal; az idősebb, jobboldali, bérbeadó, magas jövedelmű és tulajdonos personák kevesebbszer, legfeljebb 13 ponttal. A modellek az alacsonyabb státuszú personákat úgy játszották, mint akik kevésbé biztosak abban, amit tudnak. Ismert, hogy a persona-promptok ilyen sztereotípiákat visznek bele az érvelésbe (Gupta et al., 2024). Egyes modellek personával sokkal többször utasítottak el: a Gemini 3.5 Flash personaként a kapcsolatok 59%-ára mondta, hogy „nem tudom megítélni”, önmagaként egyikre sem.
Mely modellek ítélnek jól
A diagramok minden modellt aszerint helyeznek el, milyen gyakran mond igent (vízszintesen), és mennyire informatívak a válaszai (függőlegesen). Az informáltságot a helyes válaszok ismerete nélkül becsüljük, abból, ahogyan a modellek egymással egyetértenek (Dawid & Skene, 1979): az 1 tökéletesen következetes ítélőt jelent, a 0 olyan választ, amely semmilyen jelet nem hordoz. Az egész panel eredményével való egyetértést méri, nem a helyességet, így egy erős modell, amely a gyengébbekkel nem ért egyet, a megérdemeltnél alacsonyabb pontszámot kaphat.
A legtöbb modell különbséget tesz: a kapcsolatok negyedére–kétharmadára mond igent, és a válaszai jelet hordoznak. A Claude Sonnet 5.5 és a DeepSeek V4 Flash ért egyet leginkább a panellel. A kisebb modellek, például a Gemma 3 4B és a Command R7B, kevesebbet hordoznak. A Schematron, amelyet adatkinyerésre építettek, nem állítások megítélésére, szinte mindenre azt mondta, hogy „nem tudom megítélni”, és amire mégis válaszolt, az szinte semmilyen jelet nem hordoz.
Van-e a modelleknek saját nézetük?
Ha a personák nem alakítják a válaszokat, talán maguk a modellek vallanak eltérő elméleteket a problémáról: az egyik a szabályozást hibáztatja, a másik a spekulációt. A szóródás negyede abból adódott, hogy a modellek ugyanazt a kapcsolatot eltérően olvasták, ezért megkerestük ennek a különbségnek az irányait: egy olyan modellel, amely minden modellt és minden kapcsolatot néhány dimenzió mentén helyez el, a modellek önmagukként adott válaszaiból. Egy dimenzió csak akkor számít, ha stabil, vagyis ha a kapcsolatok két felére külön illesztve is nagyjából ugyanoda helyezi a modelleket.
Egy dimenzió volt stabil, és nem egy elmélet volt az. Az egyik végén olyan kapcsolatok álltak, amelyeknek alig van értelmük, például hogy „a külföldi befektetők által megvásárolt luxuslakások” vezetnek oda, hogy „Amerika évente 600 000–1,2 millió bevándorlóval gyarapszik”; ezeket a gyengébb modellek elfogadták. A másik végén egyetlen összefüggő mechanizmus állt: a lakók szavazatai és a már bent lévők érdekei korlátozzák a kínálatot; ezt az erősebb modellek mind elfogadták. A dimenzió azt mutatja, mennyire jól ítél egy modell: az erős modellek közel vannak egymáshoz, és minden gyenge modell a maga módján tér el tőlük.
A tizenegy erősebb modell között, a vizsgálat 120 kapcsolatára illesztve, semmi sem volt stabil. Ehhez túl kevés volt a kapcsolat. A szoba mind a 870 kapcsolatára illesztve, amelyekre ugyanaz a tizenegy modell önmagaként válaszolt, megjelent egy különbség, és ez stabil: a kapcsolatok két felére külön illesztve a modellek szinte ugyanoda kerülnek (0,89).
Az egyik végen a modellek elfogadják az emberek érdekeitől a politikai döntésekig vezető kapcsolatokat: hogy a lakástulajdonosok érdekeltsége az áremelkedésben egy kormány kínálatellenes változtatásaihoz vezet, hogy a lakók szavazatai a Proposition 13-hoz vezetnek. Itt van a Gemini 3.5 Flash, a Claude Sonnet 5.5, a Nex és a DeepSeek. A másik végen a modellek az akadályoktól a kínálati mechanizmusig vezető kapcsolatokat fogadják el: a szabályozás, a már bent lévők érdekei, az olcsó lakásokat elutasító önkormányzatok és a tulajdonjogok mind oda vezetnek, hogy „több lakás csökkenti az árakat”. Itt van a Mistral Small, a Ministral 8B, a Laguna és a Qwen. Nagyjából: az egyik oldal azzal magyarázza a lakhatást, hogy ki nyer rajta politikailag, a másik azzal, hogy mi akadályozza a kínálatot. Ez az olvasat a miénk, a két végen álló kapcsolatokból. A második dimenzió mindkét GPT-OSS modellt az egyik végre teszi, de a kapcsolatainak nincs közös témája, amelyet meg tudnánk nevezni.
A szóródás ezt megerősíti. A tizenegy erősebb modell között maga a kapcsolat a szóródás 68%-át magyarázza, szemben az összes 21 modellnél mért 52%-kal, a modellspecifikus olvasatok pedig 24%-ról 8%-ra esnek: abból, ami eltérő olvasatnak tűnt, nagyjából kétharmad a gyengébb modellektől származott. A maradék kisebb, de ez a fenti következetes különbség.
Mit jelent ez a True Causes számára
Egy modellpanel ítélőképességet kínál, szűk nézettartománnyal. A personák nem adnak hozzá nézőpontokat. A jól teljesítő modellek a legtöbb kapcsolatban egyetértenek, a többiben pedig következetesen eltérnek, a politikai és a kínálati magyarázatok közötti tengely mentén. Ez egy tartomány, de szűk, és az szabja meg, hogyan tanították a modelleket: nem az a nézettartomány, amelyet különböző tapasztalatú emberek hoznának. A tanácskozásokat összegző modellekről szóló kutatás ugyanebbe az irányba mutat: az összefoglalók 18 modellnél is alulreprezentálják a kisebbségi álláspontokat (Zhu et al., 2025), és a konszenzuskeresésre írt nyilatkozatok inkább a hangnemükkel nyerhetnek egyetértést, mint a tartalmukkal (Tsai et al., 2024). A True Causesban egy modell nem beszél egy szoba nevében. Egyes kapcsolatokat ír vagy ítél meg, minden ítéletét megszámolják, és egy megosztott szavazás megosztottként marad a térképen.
Egy panel összeállításánál először a minőség számít, aztán az egyensúly. A modellek közötti legnagyobb különbség az, hogy mennyire jól ítélnek, ezért egy panel jól teljesítő modellekből álljon, a gyengéket hagyják ki. A jól teljesítő modellek közül a modellcsaládok különböző irányba hajlanak, ezért egy panel több családból merítsen, és egyetlen család se legyen többségben a többivel szemben.
A modelleket szűrni kell, mielőtt helyet kapnak. Az a modell, amely mindenre igent, mindenre nemet vagy mindenre „nem tudom megítélni” választ ad, zajt visz minden párba, amelyet megítél. Egy rövid kalibráció ismert kapcsolatokon kiszűri őket.
Ítélkezéshez nem szabad personákat használni. Tartózkodásokat és státuszsztereotípiát adnak hozzá, ítéletbeli sokféleséget viszont nem. Az írás külön kérdés. A personákkal dolgozó modellszoba változatos kártyákat ír, de a különböző modellek eltérően írnak, és egy modell minden alkalommal másképp ír, amikor kérdezik, így a változatos kártyák önmagukban nem mutatják, hogy a personák bármit tettek volna. A próba ugyanaz, mint amelyet itt az ítélkezésre használtunk: ugyanazok a modellek okokat írnak personával és persona nélkül, és megszámoljuk, hány különböző okot hoz létre mindegyik.
Az emberekből álló szobák mások. Egy ember azt hozza, amit látott, nem egy leírást valakiről, aki láthatta. Ez a vizsgálat semmit sem mond ez ellen; azt mondja, hogy egy modell, amelynek azt mondták, hogy bérlő, nem élt bérlőként. Ahol az a cél, hogy kiderüljön, miben nem értenek egyet az emberek, ott ezt csak emberek adhatják. Ezekben a szobákban egy modell hasznosabb, ha kérdez, mint ha válaszol: egy kártyáról feltett kérdés, egyszerre egy, saját álláspont nélkül (mit látna, ha ez igaz lenne? mi történik közben?), segít a szerzőnek világossá tenni az okot anélkül, hogy a modell szavait adná a szájába.
Korlátok
Egyetlen kérdés, a lakhatás; 120 kapcsolat; modellenként négy-öt persona, mindegyik egyszer válaszolt. Az ennél a vizsgálati elrendezésnél kisebb hatások nem látszanának. A personákat szerepleírásként fogalmaztuk meg; erősebb módszerek, például ha a modellt arra kérik, hogy válasz előtt a szerepben gondolkodjon, tovább mozdíthatják, a karikatúra kockázatával együtt (Cheng et al., 2023). Az informáltság a panellel való egyetértést méri, nem az igazságot, és a tanácskozás megítélésére használt modellek kevésbé értenek egyet az emberekkel, mint remélhetnénk (Zhu et al., 2025): egy önmagával egyetértő panel is tévedhet ugyanabba az irányba. A jól teljesítő modellek közötti különbség csak mind a 870 kapcsolattal jelent meg; 120-nál láthatatlan volt, így kisebb különbségek továbbra is rejtve maradhatnak, és egy a lakhatásnál vitatottabb kérdés jobban megoszthatja a modelleket.
Hivatkozások
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.