NOTATKI · PANELE MODELI
Powiedz modelowi, kim jest. Jego oceny przyczyn prawie się nie zmieniają.
Październik 2026
Pokoje modeli językowych w True Causes dają każdemu modelowi personę: pielęgniarkę, która wynajmuje mieszkanie, emeryta z własnym domem, małego dewelopera. Chodzi o to, że różni ludzie widzą różne przyczyny, a panel modeli, które ich odgrywają, też by je widział. To, czy model, któremu powiedziano, kim jest, odpowiada jak ta osoba, jest znanym pytaniem (Argyle et al., 2023); sprawdziliśmy je na ocenach przyczyn.
Przy ocenianiu — nie. W 21 modelach i 14 personach persona, którą dostał model, nie zmieniła w żaden mierzalny sposób tego, które powiązania przyczynowe przyjmował. To, jaki to był model, zmieniało bardzo wiele.
Badanie
Wzięliśmy 120 powiązań z pokoju z publicznym zapisem o dostępności mieszkań, dobranych tak, żeby powiązania, które pokój poświadczył, odrzucił i których nie zdołał rozstrzygnąć, były reprezentowane po równo. Każdy z 21 modeli odpowiedział na każde powiązanie raz jako on sam i cztery lub pięć razy jako inna persona: dwanaście person związanych z mieszkalnictwem (najemcy i właściciele, wynajmujący, urbanista, deweloper, organizatorka lokatorska, robotnik budowlany i inni) oraz dwie bliźniacze, ta sama osoba z wyjątkiem jednego faktu: wynajmuje zamiast posiadać. Każdą personę odgrywało siedem modeli. To 119 miejsc i 14 220 odpowiedzi, każde miejsce odpowiadało na każde powiązanie, więc żadna odpowiedź nie zależała od innej.
Co decydowało o odpowiedziach
Samo powiązanie wyjaśnia mniej więcej połowę całej zmienności (52%): modele w dużej mierze zgadzają się co do tego, które powiązania są prawdopodobne. Własne odczytanie poszczególnych powiązań przez model wyjaśnia kolejną ćwierć (24%), niezależnie od tego, jaką personę odgrywa. Ogólna skłonność modelu do mówienia „tak” dodaje 3%.
Persona nie dodała niczego. Jej udział w zmienności tego, które powiązania dostały „tak”, wyniósł 0.000; jej udział w ogólnym przechyle w stronę „tak” — 0.002. Test, który próbuje rozpoznać personę na podstawie odpowiedzi miejsca, na modelach, na których nie był trenowany, nie wypadł lepiej niż przypadek (6.1% wobec 7.1%). A miejsca nie przesuwały się w kierunku, jaki przewidywałyby cechy ich persony: korelacja wyniosła zero. Gdy persona już zmieniała odpowiedź, przy 1% do 15% powiązań zależnie od modelu, zmieniała ją losowo.
To zgadza się z tym, co ustalili inni. Zmienne persony wyjaśniają niewielką część zmienności w zadaniach anotacyjnych (Hu & Collier, 2024), a rola wskazana w prompcie systemowym nie zmienia spójnie odpowiedzi modelu (Zheng et al., 2024). Pytanie o przyczyny model odczytuje jako pytanie o świat, a nie o osobę, która pyta.
Co persony zmieniły: kto odpowiada
Persony sprawiały, że modele częściej mówiły „nie wiadomo”, w 26% przypadków wobec 19% jako one same, i to nierówno. Persony młode, o niskich dochodach, wynajmujące, lewicowe i spoza USA wstrzymywały się częściej, nawet o 14 punktów; persony starsze, prawicowe, wynajmujące innym, o wysokich dochodach i właścicielskie wstrzymywały się rzadziej, nawet o 13 punktów. Modele odgrywały persony o niższym statusie jako mniej pewne swojej wiedzy. Wiadomo, że prompty z personą przenoszą takie stereotypy do rozumowania (Gupta et al., 2024). Niektóre modele z personą odmawiały znacznie częściej: Gemini 3.5 Flash jako persona powiedział „nie wiadomo” przy 59% powiązań, a jako on sam przy żadnym.
Które modele oceniają dobrze
Wykresy umieszczają każdy model według tego, jak często mówi „tak” (w poziomie), i tego, jak bardzo informacyjne są jego odpowiedzi (w pionie). Informacyjność jest szacowana bez znajomości właściwych odpowiedzi, na podstawie tego, jak modele zgadzają się ze sobą nawzajem (Dawid & Skene, 1979): 1 to idealnie spójny sędzia, 0 to odpowiedź, która nie niesie żadnego sygnału. Mierzy ona zgodność z tym, co ustala panel jako całość, a nie poprawność, więc silny model, który nie zgadza się ze słabszymi, może dostać niższy wynik, niż na to zasługuje.
Większość modeli rozróżnia: mówi „tak” przy od jednej czwartej do dwóch trzecich powiązań, a ich odpowiedzi niosą sygnał. Claude Sonnet 5.5 i DeepSeek V4 Flash najbardziej zgadzają się z panelem. Mniejsze modele, takie jak Gemma 3 4B i Command R7B, niosą go mniej. Schematron, model zbudowany do wydobywania danych, a nie do oceniania twierdzeń, mówił „nie wiadomo” prawie na wszystko, a to, na co odpowiedział, nie niesie niemal żadnego sygnału.
Czy modele mają własne poglądy?
Jeśli persony nie kształtują odpowiedzi, może same modele mają różne teorie problemu: jeden obwinia regulacje, inny spekulację. Ćwierć zmienności to modele odczytujące to samo powiązanie inaczej, więc szukaliśmy kierunków tej różnicy: modelu, który umieszcza każdy model i każde powiązanie na kilku wymiarach, na podstawie odpowiedzi modeli jako one same. Wymiar się liczy tylko wtedy, gdy jest stabilny, to znaczy gdy dopasowany osobno do dwóch połówek powiązań umieszcza modele w mniej więcej tych samych miejscach.
Jeden wymiar był stabilny i nie był teorią. Na jednym końcu były powiązania, które ledwo mają sens, takie jak „luksusowe apartamenty kupowane przez zagranicznych inwestorów” prowadzące do „Ameryka przyjmuje od 600 000 do 1.2 miliona imigrantów rocznie”, które przyjmowały słabsze modele. Na drugim końcu był jeden spójny mechanizm, głosy mieszkańców i interesy zasiedziałych ograniczające podaż, który przyjmowały wszystkie silniejsze modele. Ten wymiar to to, jak dobrze model ocenia: silne modele leżą blisko siebie, a każdy słaby odchodzi od nich na swój sposób.
Wśród jedenastu silniejszych modeli, dopasowanych na 120 powiązaniach z badania, nic nie było stabilne. To było za mało powiązań. Po dopasowaniu na wszystkich 870 powiązaniach pokoju, na które te same jedenaście modeli odpowiedziało jako one same, pojawiła się różnica, i jest stabilna: dopasowane osobno na dwóch połówkach powiązań modele lądują niemal w tych samych miejscach (0.89).
Na jednym końcu modele przyjmują powiązania od interesów ludzi do decyzji politycznych: interes właścicieli domów we wzroście cen prowadzący do zmian rządu wymierzonych w podaż, głosy mieszkańców prowadzące do Proposition 13. Leżą tam Gemini 3.5 Flash, Claude Sonnet 5.5, Nex i DeepSeek. Na drugim końcu modele przyjmują powiązania od barier do mechanizmu podaży: regulacje, interesy zasiedziałych, rady odmawiające tanich mieszkań i prawa własności, każde prowadzące do „więcej mieszkań obniża ceny”. Leżą tam Mistral Small, Ministral 8B, Laguna i Qwen. Z grubsza jedna strona wyjaśnia mieszkalnictwo tym, kto zyskuje politycznie, druga tym, co blokuje podaż. To odczytanie jest nasze, na podstawie powiązań na każdym końcu. Drugi wymiar umieszcza oba modele GPT-OSS na jednym końcu, ale jego powiązania nie mają wspólnego tematu, który umielibyśmy nazwać.
Zmienność się zgadza. Wśród jedenastu silniejszych modeli samo powiązanie wyjaśnia 68% zmienności, wobec 52% przy wszystkich 21 modelach, a odczytania właściwe dla modelu spadają z 24% do 8%: mniej więcej dwie trzecie tego, co wyglądało na różne odczytania, pochodziło od słabszych modeli. Reszta jest mniejsza, ale to właśnie opisana wyżej spójna różnica.
Co to oznacza dla True Causes
Panel modeli oferuje osąd, z wąskim zakresem poglądów. Persony nie dodają perspektyw. Zdolne modele zgadzają się co do większości powiązań, a co do reszty różnią się w spójny sposób, wzdłuż linii między wyjaśnieniami politycznymi a podażowymi. To jest jakiś zakres, ale wąski, wyznaczony przez to, jak modele wytrenowano: nie zakres poglądów, jaki wnieśliby ludzie o różnych doświadczeniach. Badania nad modelami, które streszczają deliberacje, wskazują to samo: streszczenia niedostatecznie reprezentują stanowiska mniejszości, w 18 modelach (Zhu et al., 2025), a stanowiska pisane po to, żeby znaleźć konsensus, mogą zdobywać zgodę bardziej tonem niż treścią (Tsai et al., 2024). W True Causes model nie mówi w imieniu pokoju. Pisze albo ocenia pojedyncze powiązania, każda ocena jest liczona, a podział zostaje na mapie jako podział.
Przy doborze panelu najpierw liczy się jakość, potem równowaga. Największa różnica między modelami to to, jak dobrze oceniają, więc panel powinien składać się ze zdolnych modeli, bez słabych. Wśród zdolnych modeli rodziny skłaniają się w różne strony, więc panel powinien czerpać z kilku, a żadna rodzina nie powinna przeważać liczebnie nad resztą.
Modele należy sprawdzić, zanim zajmą miejsca. Model, który na wszystko mówi „tak”, na wszystko „nie” albo na wszystko „nie wiadomo”, dodaje szum do każdej pary, którą ocenia. Krótka kalibracja na znanych powiązaniach je wyłapuje.
Person nie należy używać do oceniania. Dodają wstrzymania się i stereotyp statusu, a żadnej różnorodności osądu. Pisanie to osobna kwestia. Pokój modeli z personami pisze zróżnicowane karty, ale różne modele piszą różnie, a jeden model pisze inaczej za każdym razem, gdy się go poprosi, więc same zróżnicowane karty nie pokazują, że persony cokolwiek zrobiły. Test jest ten sam, co użyty tu do oceniania: te same modele piszą przyczyny z personą i bez niej, a potem liczy się odrębne przyczyny, które każdy wariant daje.
Pokoje ludzi są czymś innym. Człowiek wnosi to, co widział, a nie opis kogoś, kto mógł to widzieć. To badanie nie mówi nic przeciwko temu; mówi, że model, któremu powiedziano, że jest najemcą, nie żył jak najemca. Tam, gdzie chodzi o to, żeby dowiedzieć się, w czym ludzie się nie zgadzają, dostarczą tego tylko ludzie. W takich pokojach model bardziej się przydaje, gdy pyta, niż gdy odpowiada: pytanie o kartę, jedno naraz i bez własnego zdania (co byśmy zobaczyli, gdyby to była prawda? co dzieje się pomiędzy?), pomaga autorowi wyrazić przyczynę jasno, bez wkładania mu w usta słów modelu.
Ograniczenia
Jedno pytanie, mieszkalnictwo; 120 powiązań; cztery lub pięć person na model, każda odpowiadająca raz. Efekty mniejsze, niż ten układ badania potrafi uchwycić, by się nie pokazały. Persony były zapisane jako opisy ról; silniejsze sposoby ich wywoływania, takie jak poproszenie modelu, żeby rozumował w roli przed odpowiedzią, mogą go przesunąć dalej, razem z ryzykiem karykatury (Cheng et al., 2023). Informacyjność mierzy zgodność z panelem, a nie prawdę, a modele używane jako sędziowie deliberacji zgadzają się z ludźmi słabiej, niż można by mieć nadzieję (Zhu et al., 2025): panel, który zgadza się sam ze sobą, wciąż może się mylić w tym samym kierunku. Różnica między zdolnymi modelami pojawiła się dopiero przy wszystkich 870 powiązaniach; przy 120 była niewidoczna, więc mniejsze różnice wciąż mogą pozostawać niezauważone, a pytanie bardziej sporne niż mieszkalnictwo mogłoby podzielić modele bardziej.
Bibliografia
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.