POZNÁMKY · PANELY MODELOV
Povedzte modelu, kým je. Jeho príčinné úsudky sa takmer nezmenia.
Október 2026
Miestnosti jazykových modelov v True Causes dávajú každému modelu personu: zdravotnú sestru v nájme, dôchodkyňu s vlastným domom, malého developera. Myšlienka je, že rôzni ľudia vidia rôzne príčiny, a panel modelov, ktoré ich hrajú, by ich videl tiež. Či model, ktorému povieme, kým je, odpovedá ako ten človek, je známa otázka (Argyle et al., 2023); my sme ju otestovali na príčinných úsudkoch.
Pri posudzovaní to tak nie je. Naprieč 21 modelmi a 14 personami persona, ktorú model dostal, nezmenila nič merateľné na tom, ktoré príčinné prepojenia prijal. To, o aký model išlo, zmenilo veľa.
Štúdia
Vzali sme 120 prepojení z miestnosti založenej na verejných záznamoch o dostupnosti bývania, vybraných tak, aby boli rovnako zastúpené prepojenia, ktoré miestnosť potvrdila, zamietla a nedokázala rozhodnúť. Každý z 21 modelov odpovedal na každé prepojenie raz sám za seba a štyrikrát alebo päťkrát ako iná persona: dvanásť person z oblasti bývania (nájomníci a vlastníci, prenajímateľ, urbanista, developer, organizátorka nájomníkov, stavebný robotník a ďalší) a dve dvojčatá, ten istý človek až na jedinú skutočnosť: býva v nájme namiesto vo vlastnom. Každú personu hralo sedem modelov. To je 119 miest a 14 220 odpovedí, každé miesto odpovedalo na každé prepojenie, takže žiadna odpoveď nezávisela od inej.
Čo rozhodlo o odpovediach
Samotné prepojenie vysvetľuje asi polovicu celej variability (52 %): modely sa do veľkej miery zhodujú v tom, ktoré prepojenia sú vierohodné. Vlastné čítanie konkrétnych prepojení modelom vysvetľuje ďalšiu štvrtinu (24 %), nech hrá akúkoľvek personu. Všeobecný sklon modelu hovoriť áno pridáva 3 %.
Persona nepridala nič. Jej podiel na variabilite v tom, ktoré prepojenia dostali áno, bol 0,000; jej podiel na všeobecnom sklone k áno 0,002. Test, ktorý sa pokúša určiť personu z odpovedí miesta pri modeloch, v ktorých ju predtým nevidel, nebol lepší ako náhoda (6,1 % oproti 7,1 %). A miesta sa neposúvali smerom, ktorý by predpovedali vlastnosti ich persony: korelácia bola nulová. Keď persona odpoveď predsa zmenila, pri 1 % až 15 % prepojení podľa modelu, zmenila ju náhodne.
Zodpovedá to tomu, k čomu dospeli iní. Premenné persony vysvetľujú len malú časť variability pri anotačných úlohách (Hu & Collier, 2024) a rola uvedená v systémovom prompte nemení odpovede modelu konzistentne (Zheng et al., 2024). Príčinnú otázku model číta ako otázku o svete, nie o človeku, ktorý sa pýta.
Čo persony zmenili: kto odpovedá
S personami modely častejšie povedali „neviem posúdiť“, v 26 % prípadov oproti 19 %, keď odpovedali samy za seba, a nie rovnomerne. Mladé, nízkopríjmové, nájomnícke, ľavicovo orientované a neamerické persony sa zdržali častejšie, až o 14 percentuálnych bodov; staršie, pravicovo orientované, prenajímateľské, vysokopríjmové a vlastnícke persony menej, až o 13 bodov. Modely hrali persony s nižším postavením ako menej isté v tom, čo vedia. O personových promptoch je známe, že takéto stereotypy prenášajú do uvažovania (Gupta et al., 2024). Niektoré modely s personou odmietali oveľa častejšie: Gemini 3.5 Flash povedal „neviem posúdiť“ pri 59 % prepojení ako persona a pri žiadnom sám za seba.
Ktoré modely posudzujú dobre
Grafy umiestňujú každý model podľa toho, ako často hovorí áno (vodorovne), a podľa toho, aké informatívne sú jeho odpovede (zvisle). Informovanosť sa odhaduje bez znalosti správnych odpovedí, z toho, ako sa modely zhodujú medzi sebou (Dawid & Skene, 1979): 1 je dokonale konzistentný posudzovateľ, 0 odpoveď, ktorá nenesie žiadny signál. Meria zhodu s tým, k čomu dospeje panel ako celok, nie správnosť, takže silný model, ktorý nesúhlasí so slabšími, môže dostať nižšie skóre, než si zaslúži.
Väčšina modelov rozlišuje: hovorí áno štvrtine až dvom tretinám prepojení a ich odpovede nesú signál. S panelom sa najviac zhodujú Claude Sonnet 5.5 a DeepSeek V4 Flash. Menšie modely, napríklad Gemma 3 4B a Command R7B, nesú signálu menej. Schematron, model vytvorený na extrakciu údajov, nie na posudzovanie tvrdení, povedal „neviem posúdiť“ takmer na všetko a to, na čo odpovedal, nenesie takmer žiadny signál.
Majú modely vlastné názory?
Ak persony odpovede neformujú, možno samotné modely zastávajú rôzne teórie problému, jeden obviňuje reguláciu, iný špekuláciu. Štvrtinu variability tvorilo to, že modely čítali to isté prepojenie rôzne, a tak sme hľadali smery tohto rozdielu: model, ktorý z odpovedí modelov za seba samých umiestni každý model a každé prepojenie na niekoľko dimenzií. Dimenzia sa počíta iba vtedy, ak je stabilná, teda ak jej samostatné prispôsobenie na dvoch polovicách prepojení umiestni modely na takmer rovnaké miesta.
Jedna dimenzia bola stabilná a nebola to teória. Na jednom konci boli prepojenia, ktoré takmer nedávajú zmysel, napríklad „luxusné byty, ktoré kupujú zahraniční investori“ vedúce k „Amerika pribudne ročne 600 000 až 1,2 milióna prisťahovalcov“, ktoré slabšie modely prijali. Na druhom konci bol jeden súdržný mechanizmus, hlasy obyvateľov a záujmy tých, čo už majú, ktoré udržiavajú ponuku obmedzenú, a ten prijali všetky silnejšie modely. Táto dimenzia vyjadruje, ako dobre model posudzuje: silné modely sú blízko pri sebe a každý slabý model sa od nich odchyľuje po svojom.
Medzi jedenástimi silnejšími modelmi, prispôsobenými na 120 prepojeniach štúdie, nebolo stabilné nič. Prepojení bolo primálo. Pri prispôsobení na všetkých 870 prepojeniach miestnosti, na ktoré odpovedalo tých istých jedenásť modelov samých za seba, sa rozdiel objavil, a je stabilný: pri samostatnom prispôsobení na dvoch polovicách prepojení skončia modely takmer na rovnakých miestach (0,89).
Na jednom konci modely prijímajú prepojenia od záujmov ľudí k politickým rozhodnutiam: záujem vlastníkov domov na rastúcich cenách vedúci k vládnym zmenám proti novej výstavbe, hlasy obyvateľov vedúce k Proposition 13. Sú tam Gemini 3.5 Flash, Claude Sonnet 5.5, Nex a DeepSeek. Na druhom konci modely prijímajú prepojenia od prekážok k mechanizmu ponuky: regulácia, záujmy tých, čo už majú, zastupiteľstvá, ktoré odmietajú lacné byty, a vlastnícke práva, každé vedúce k „viac bytov znižuje ceny“. Sú tam Mistral Small, Ministral 8B, Laguna a Qwen. Zhruba povedané, jedna strana vysvetľuje bývanie tým, kto politicky získava, druhá tým, čo blokuje ponuku. Toto čítanie je naše, z prepojení na každom konci. Druhá dimenzia dáva oba modely GPT-OSS na jeden koniec, no jej prepojenia nemajú žiadnu spoločnú tému, ktorú by sme vedeli pomenovať.
Variabilita to potvrdzuje. Medzi jedenástimi silnejšími modelmi samotné prepojenie vysvetľuje 68 % z nej, oproti 52 % pri všetkých 21 modeloch, a čítania špecifické pre model klesnú z 24 % na 8 %: asi dve tretiny toho, čo vyzeralo ako rôzne čítania, pochádzali od slabších modelov. Zvyšok je menší, ale je to práve ten konzistentný rozdiel opísaný vyššie.
Čo to znamená pre True Causes
Panel modelov ponúka úsudok s úzkym rozsahom názorov. Persony nepridávajú žiadne pohľady. Schopné modely sa zhodnú na väčšine prepojení a pri zvyšku sa rozchádzajú konzistentne, pozdĺž línie medzi politickými vysvetleniami a vysvetleniami cez ponuku. To je rozsah, ale úzky, daný tým, ako boli modely natrénované: nie rozsah názorov, ktorý by priniesli ľudia s rôznymi skúsenosťami. Výskum modelov, ktoré zhrnujú deliberácie, ukazuje tým istým smerom: zhrnutia nedostatočne zastupujú menšinové pozície, a to naprieč 18 modelmi (Zhu et al., 2025), a vyhlásenia napísané na hľadanie konsenzu môžu získať súhlas skôr svojím tónom než obsahom (Tsai et al., 2024). V True Causes model nehovorí za miestnosť. Píše alebo posudzuje jednotlivé prepojenia, každý úsudok sa započíta a nejednotný výsledok zostáva na mape ako nejednotný.
Pri výbere panelu ide najprv o kvalitu, potom o vyváženosť. Najväčší rozdiel medzi modelmi je v tom, ako dobre posudzujú, takže panel by mali tvoriť schopné modely, bez slabých. Medzi schopnými modelmi sa rodiny modelov prikláňajú rôznymi smermi, takže panel by mal čerpať z viacerých a žiadna rodina by nemala prevažovať nad ostatnými.
Modely treba preveriť skôr, než dostanú miesto. Model, ktorý na všetko povie áno, na všetko nie alebo na všetko „neviem posúdiť“, pridáva šum do každej dvojice, ktorú posudzuje. Krátka kalibrácia na známych prepojeniach ho odhalí.
Na posudzovanie by sa persony používať nemali. Pridávajú zdržania sa a stereotyp spoločenského postavenia, a žiadnu rozmanitosť úsudku. Písanie je samostatná otázka. Miestnosť modelov s personami píše rozmanité karty, lenže rôzne modely píšu rôzne a jeden model píše zakaždým inak, takže samotné rozmanité karty neukazujú, že persony niečo urobili. Testom je ten, ktorý sme tu použili na posudzovanie: tie isté modely píšu príčiny s personou aj bez nej a spočítajú sa odlišné príčiny, ktoré každý variant vytvorí.
Miestnosti ľudí sú iné. Človek prináša to, čo videl, nie opis niekoho, kto to mohol vidieť. Táto štúdia proti tomu nič nehovorí; hovorí, že model, ktorému povieme, že je nájomník, ako nájomník nežil. Kde ide o to zistiť, v čom sa ľudia nezhodujú, poskytnú to iba ľudia. V takých miestnostiach je model užitočnejší, keď sa pýta, než keď odpovedá: otázka ku karte, jedna po druhej a bez vlastného názoru (čo by ste videli, keby to bola pravda? čo sa deje medzi tým?), pomôže autorovi objasniť príčinu bez toho, aby mu model vkladal do úst svoje slová.
Obmedzenia
Jedna otázka, bývanie; 120 prepojení; štyri alebo päť person na model, každá odpovedala raz. Účinky menšie, než aké tento dizajn dokáže zachytiť, by sa neukázali. Persony boli napísané ako opisy rolí; silnejšie spôsoby ich navodenia, napríklad požiadať model, aby pred odpoveďou uvažoval v role, ho môžu posunúť ďalej, spolu s rizikom karikatúry (Cheng et al., 2023). Informovanosť meria zhodu s panelom, nie pravdivosť, a modely použité ako posudzovatelia deliberácie sa s ľuďmi zhodujú horšie, než by sa dalo dúfať (Zhu et al., 2025): panel, ktorý sa zhoduje sám so sebou, sa stále môže mýliť jedným smerom. Rozdiel medzi schopnými modelmi sa objavil až pri všetkých 870 prepojeniach; pri 120 bol neviditeľný, takže menšie rozdiely môžu stále zostať nepovšimnuté a spornejšia otázka než bývanie by mohla modely rozdeliť viac.
Literatúra
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.