POZNÁMKY · PANELY MODELŮ
Řekněte modelu, kým je. Jeho příčinné úsudky se téměř nezmění.
Říjen 2026
Místnosti jazykových modelů na True Causes dávají každému modelu personu: zdravotní sestru v nájmu, majitele domu v důchodu, malého developera. Myšlenka je, že různí lidé vidí různé příčiny, a panel modelů, které je hrají, by je viděl také. Zda model, kterému řeknete, kým je, odpovídá jako ten člověk, je známá otázka (Argyle et al., 2023); my jsme ji otestovali na příčinných úsudcích.
Při posuzování to neplatí. Napříč 21 modely a 14 personami změnila persona, kterou model dostal, to, které příčinné vazby přijal, o nic, co bychom dokázali změřit. To, o který model šlo, změnilo hodně.
Studie
Vzali jsme 120 vazeb z místnosti s veřejným záznamem o dostupnosti bydlení, vybraných tak, aby byly rovnoměrně zastoupené vazby, které místnost potvrdila, zamítla a nedokázala rozhodnout. Každý z 21 modelů odpověděl na každou vazbu, jednou sám za sebe a čtyřikrát nebo pětkrát jako jiná persona: dvanáct person z oblasti bydlení (nájemníci a vlastníci, pronajímatel, územní plánovač, developer, organizátor nájemníků, stavební dělník a další) a dvě dvojčata, tentýž člověk až na jeden fakt, nájem místo vlastnictví. Každou personu hrálo sedm modelů. To je 119 míst a 14 220 odpovědí, přičemž každé místo odpovídalo na každou vazbu, takže žádná odpověď nezávisela na jiné.
Co rozhodlo o odpovědích
Samotná vazba vysvětluje zhruba polovinu veškeré variability (52 %): modely se do velké míry shodují v tom, které vazby jsou věrohodné. Vlastní čtení konkrétních vazeb modelem vysvětluje další čtvrtinu (24 %), ať hraje jakoukoli personu. Obecný sklon modelu říkat ano přidává 3 %.
Persona nepřidala nic. Její podíl na variabilitě v tom, které vazby dostaly ano, byl 0,000; její podíl na obecném sklonu k ano 0,002. Test, který se snaží určit personu z odpovědí místa, a to u modelů, u kterých ji předtím neviděl, nedopadl o nic lépe než náhoda (6,1 % proti 7,1 %). A místa se neposouvala směrem, který by předpovídaly vlastnosti jejich persony: korelace byla nulová. Když persona odpověď přece jen změnila, u 1 % až 15 % vazeb podle modelu, změnila ji náhodně.
To odpovídá tomu, co zjistili jiní. Proměnné persony vysvětlují v anotačních úlohách jen malou část rozptylu (Hu & Collier, 2024) a role uvedená v systémovém promptu odpovědi modelu konzistentně nemění (Zheng et al., 2024). Příčinná otázka se modelu jeví jako otázka o světě, ne o člověku, který se ptá.
Co persony změnily: kdo odpovídá
S personami modely častěji říkaly „nelze říct“, v 26 % případů proti 19 % sami za sebe, a ne rovnoměrně. Mladé persony, persony s nízkým příjmem, v nájmu, levicově orientované a mimo USA se zdržovaly častěji, až o 14 bodů; starší, pravicově orientované persony, pronajímatelé, persony s vysokým příjmem a vlastníci méně často, až o 13 bodů. Modely hrály persony s nižším postavením jako méně si jisté tím, co vědí. Je známo, že prompty s personou takové stereotypy přenášejí do uvažování (Gupta et al., 2024). Některé modely s personou odmítaly mnohem častěji: Gemini 3.5 Flash řekl „nelze říct“ u 59 % vazeb jako persona a sám za sebe u žádné.
Které modely posuzují dobře
Grafy umisťují každý model podle toho, jak často říká ano (vodorovně), a podle toho, jak informativní jsou jeho odpovědi (svisle). Informovanost se odhaduje bez znalosti správných odpovědí, z toho, jak se modely shodují mezi sebou (Dawid & Skene, 1979): 1 je dokonale konzistentní posuzovatel, 0 odpověď, která nenese žádný signál. Měří shodu s tím, k čemu dochází panel jako celek, ne správnost, takže silný model, který nesouhlasí se slabšími, může dostat nižší skóre, než si zaslouží.
Většina modelů rozlišuje: říká ano čtvrtině až dvěma třetinám vazeb a jejich odpovědi nesou signál. Claude Sonnet 5.5 a DeepSeek V4 Flash se s panelem shodují nejvíc. Menší modely jako Gemma 3 4B a Command R7B nesou signálu méně. Schematron, model postavený na extrakci dat, ne na posuzování tvrzení, řekl „nelze říct“ skoro u všeho, a to, na co odpověděl, nese téměř nulový signál.
Mají modely vlastní názory?
Pokud odpovědi neformují persony, možná samotné modely zastávají různé teorie problému, jeden viní regulaci, jiný spekulaci. Čtvrtinu variability tvořilo to, že modely čtou stejnou vazbu různě, a tak jsme hledali směry tohoto rozdílu: model, který umístí každý model a každou vazbu na několik dimenzí, a to z odpovědí modelů samých za sebe. Dimenze se počítá, jen pokud je stabilní, tedy pokud ji samostatné proložení na dvou polovinách vazeb umístí modely zhruba na stejná místa.
Jedna dimenze byla stabilní a nebyla to teorie. Na jednom konci byly vazby, které skoro nedávají smysl, například „luxusní byty nakupované zahraničními investory“ vedoucí k „Amerika přibírá 600 000 až 1,2 milionu přistěhovalců ročně“, a ty slabší modely přijímaly. Na druhém konci byl jeden soudržný mechanismus, hlasy obyvatel a zájmy zavedených hráčů, které drží nabídku omezenou, a ten přijaly všechny silnější modely. Ta dimenze vyjadřuje, jak dobře model posuzuje: silné modely jsou blízko u sebe a každý slabý model se od nich odchyluje po svém.
Mezi jedenácti silnějšími modely, proloženými na 120 vazbách studie, nebylo stabilní nic. Vazeb bylo příliš málo. Při proložení na všech 870 vazbách místnosti, na které tytéž modely odpověděly samy za sebe, se rozdíl objevil, a je stabilní: při samostatném proložení na dvou polovinách vazeb skončí modely téměř na stejných místech (0,89).
Na jednom konci modely přijímají vazby od zájmů lidí k politickým rozhodnutím: zájem vlastníků domů na rostoucích cenách vedoucí ke změnám vlády, které brzdí nabídku, hlasy obyvatel vedoucí k Proposition 13. Tam stojí Gemini 3.5 Flash, Claude Sonnet 5.5, Nex a DeepSeek. Na druhém konci modely přijímají vazby od překážek k mechanismu nabídky: regulace, zájmy zavedených hráčů, zastupitelstva odmítající levné byty a vlastnická práva, každé vedoucí k „víc bytových jednotek snižuje ceny“. Tam stojí Mistral Small, Ministral 8B, Laguna a Qwen. Zhruba řečeno, jedna strana vysvětluje bydlení tím, kdo politicky získává, druhá tím, co blokuje nabídku. Toto čtení je naše, podle vazeb na každém konci. Druhá dimenze dává oba modely GPT-OSS na jeden konec, ale její vazby nemají žádné společné téma, které bychom dokázali pojmenovat.
Variabilita tomu odpovídá. Mezi jedenácti silnějšími modely vysvětluje samotná vazba 68 % variability, proti 52 % u všech 21 modelů, a čtení specifická pro model klesají z 24 % na 8 %: zhruba dvě třetiny toho, co vypadalo jako různá čtení, pocházely od slabších modelů. Zbytek je menší, ale je to výše popsaný konzistentní rozdíl.
Co to znamená pro True Causes
Panel modelů nabízí úsudek s úzkým rozpětím pohledů. Persony žádné pohledy nepřidávají. Schopné modely se shodnou na většině vazeb a na zbytku se konzistentně liší, podél linie mezi politickými vysvětleními a vysvětleními přes nabídku. To je rozpětí, ale úzké, dané tím, jak byly modely trénovány: ne rozpětí pohledů, které by přinesli lidé s různou zkušeností. Výzkum modelů, které shrnují deliberace, ukazuje stejným směrem: shrnutí napříč 18 modely nedostatečně zastupují menšinové postoje (Zhu et al., 2025) a prohlášení psaná k nalezení konsenzu mohou získat souhlas spíš tónem než obsahem (Tsai et al., 2024). Na True Causes model nemluví za místnost. Píše nebo posuzuje jednotlivé vazby, každý úsudek se započítá a nejednotný výsledek zůstává na mapě jako nejednotný.
Při sestavování panelu jde nejdřív o kvalitu, pak o vyváženost. Největší rozdíl mezi modely je v tom, jak dobře posuzují, takže panel by měly tvořit schopné modely a slabé by měly zůstat stranou. Mezi schopnými modely se rodiny přiklánějí různými směry, takže panel by měl čerpat z několika a žádná rodina by neměla převažovat nad ostatními.
Modely je třeba prověřit dřív, než zasednou. Model, který na všechno říká ano, na všechno ne nebo na všechno „nelze říct“, přidává šum do každé dvojice, kterou posuzuje. Krátká kalibrace na známých vazbách je odhalí.
K posuzování by se persony používat neměly. Přidávají zdržení se a stereotyp postavení, a žádnou rozmanitost úsudku. Psaní je samostatná otázka. Místnost modelů s personami píše rozmanité karty, ale různé modely píšou různě a jeden model píše pokaždé jinak, takže samotné rozmanité karty neukazují, že persony něco udělaly. Test je stejný jako ten, který jsme tu použili pro posuzování: tytéž modely píšou příčiny s personou a bez ní a sečtou se odlišné příčiny, které každá varianta přinese.
Místnosti lidí jsou jiné. Člověk přináší to, co viděl, ne popis někoho, kdo to vidět mohl. Tato studie neříká nic proti tomu; říká, že model, kterému řeknete, že je nájemník, jako nájemník nežil. Kde jde o to zjistit, v čem se lidé neshodnou, to dodají jen lidé. V takových místnostech je model užitečnější, když se ptá, než když odpovídá: otázka ke kartě, vždy jedna a bez vlastního názoru (co byste viděli, kdyby to platilo? co se děje mezi tím?), pomůže autorovi vyjasnit příčinu, aniž by mu model vkládal slova do úst.
Omezení
Jedna otázka, bydlení; 120 vazeb; čtyři nebo pět person na model, každá odpovídala jednou. Efekty menší, než jaké tento design dokáže zachytit, by se neprojevily. Persony byly napsané jako popisy rolí; silnější způsoby, jak je navodit, například požádat model, aby před odpovědí uvažoval v roli, by ho mohly posunout dál, spolu s rizikem karikatury (Cheng et al., 2023). Informovanost měří shodu s panelem, ne pravdivost, a modely použité jako posuzovatelé deliberace se s lidmi shodují méně, než by člověk doufal (Zhu et al., 2025): panel, který se shoduje sám se sebou, se přesto může mýlit stejným směrem. Rozdíl mezi schopnými modely se ukázal až u všech 870 vazeb; při 120 nebyl vidět, takže menší rozdíly mohou stále zůstat skryté a spornější otázka než bydlení by mohla modely rozdělit víc.
Literatura
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.