MUISTIINPANOT · MALLIPANEELIT
Kerro mallille, kuka se on. Sen syy-yhteysarviot tuskin muuttuvat.
Lokakuu 2026
True Causesin kielimallihuoneet antavat jokaiselle mallille personan: vuokralla asuva sairaanhoitaja, eläkkeellä oleva omistusasuja, pieni rakennuttaja. Ajatus on, että eri ihmiset näkevät eri syitä, ja niin näkisi myös niitä esittävien mallien paneeli. Se, vastaako malli, jolle kerrotaan, kuka se on, kuin tuo ihminen, on tunnettu kysymys (Argyle ym., 2023); me testasimme sitä syy-yhteysarvioissa.
Arvioinnissa se ei vastaa. 21 mallissa ja 14 personassa mallille annettu persona ei muuttanut mitattavasti sitä, mitkä syy-yhteydet se hyväksyi. Se, mikä malli oli kyseessä, muutti paljon.
Tutkimus
Otimme 120 yhteyttä asumisen kohtuuhintaisuutta käsittelevästä julkisen aineiston huoneesta niin valittuina, että huoneen vahvistamat, hylkäämät ja ratkaisematta jättämät yhteydet olivat yhtä hyvin edustettuina. Jokainen 21 mallista vastasi jokaiseen yhteyteen, kerran omana itsenään ja neljä tai viisi kertaa eri personana: kaksitoista asumispersonaa (vuokralaisia ja omistajia, vuokranantaja, kaavoittaja, rakennuttaja, vuokralaisaktivisti, rakennusmies ja muita) sekä kaksi kaksosta, sama ihminen yhtä tosiasiaa lukuun ottamatta: vuokralla eikä omistusasunnossa. Kutakin personaa esitti seitsemän mallia. Se tekee 119 paikkaa ja 14 220 vastausta, ja jokainen paikka vastasi jokaiseen yhteyteen, joten mikään vastaus ei riippunut toisesta.
Mikä ratkaisi vastaukset
Yhteys itse selittää noin puolet kaikesta vaihtelusta (52 %): mallit ovat pitkälti samaa mieltä siitä, mitkä yhteydet ovat uskottavia. Mallin oma tulkinta tietyistä yhteyksistä selittää toisen neljänneksen (24 %), esittipä se mitä personaa tahansa. Mallin yleinen taipumus vastata kyllä lisää 3 %.
Persona ei lisännyt mitään. Sen osuus vaihtelusta siinä, mitkä yhteydet saivat kyllän, oli 0,000; sen osuus yleisestä kallistumisesta kyllään 0,002. Testi, joka yrittää tunnistaa personan paikan vastauksista malleilla, joissa sitä ei ollut nähty, ei pärjännyt sattumaa paremmin (6,1 % vastaan 7,1 %). Eivätkä paikat liikkuneet siihen suuntaan, johon niiden personan piirteet antaisivat odottaa: korrelaatio oli nolla. Kun persona muutti vastausta, mallista riippuen 1–15 %:ssa yhteyksistä, se muutti sitä satunnaisesti.
Tämä vastaa muiden havaintoja. Personamuuttujat selittävät vain vähän annotointitehtävien vaihtelusta (Hu & Collier, 2024), eikä järjestelmäkehotteessa nimetty rooli muuta johdonmukaisesti mallin vastauksia (Zheng ym., 2024). Syy-yhteyskysymys näyttäytyy mallille kysymyksenä maailmasta, ei kysyjästä.
Mitä personat muuttivat: kuka vastaa
Personat saivat mallit vastaamaan ”en osaa sanoa” useammin, 26 %:ssa tapauksista, kun omana itsenään luku oli 19 %, eikä tasaisesti. Nuoret, pienituloiset, vuokralla asuvat, vasemmalle kallistuvat ja muut kuin yhdysvaltalaiset personat pidättäytyivät useammin, jopa 14 prosenttiyksikköä; vanhemmat, oikealle kallistuvat, vuokranantaja-, suurituloiset ja omistajapersonat harvemmin, jopa 13 prosenttiyksikköä. Mallit esittivät matalamman aseman personat epävarmempina siitä, mitä ne tietävät. Personakehotteiden tiedetään kuljettavan tällaisia stereotypioita päättelyyn (Gupta ym., 2024). Jotkin mallit kieltäytyivät personan kanssa paljon useammin: Gemini 3.5 Flash vastasi ”en osaa sanoa” 59 %:iin yhteyksistä personana eikä yhteenkään omana itsenään.
Mitkä mallit arvioivat hyvin
Kaaviot sijoittavat kunkin mallin sen mukaan, kuinka usein se vastaa kyllä (vaakasuunnassa) ja kuinka informatiivisia sen vastaukset ovat (pystysuunnassa). Informatiivisuus arvioidaan tietämättä oikeita vastauksia sen perusteella, miten mallit ovat samaa mieltä keskenään (Dawid & Skene, 1979): 1 on täysin johdonmukainen arvioija, 0 vastaus, jossa ei ole signaalia. Se mittaa yhtäpitävyyttä sen kanssa, mitä paneeli kokonaisuutena löytää, ei oikeellisuutta, joten vahva malli, joka on eri mieltä heikompien kanssa, voi saada ansaitsemaansa alemman tuloksen.
Useimmat mallit erottelevat: ne vastaavat kyllä neljännekseen–kahteen kolmasosaan yhteyksistä, ja niiden vastauksissa on signaalia. Claude Sonnet 5.5 ja DeepSeek V4 Flash ovat useimmin samaa mieltä paneelin kanssa. Pienemmissä malleissa, kuten Gemma 3 4B:ssä ja Command R7B:ssä, signaalia on vähemmän. Schematron, malli, joka on tehty datan poimimiseen eikä väitteiden arvioimiseen, vastasi ”en osaa sanoa” lähes kaikkeen, ja siinä, mihin se vastasi, ei ole juuri lainkaan signaalia.
Onko malleilla omia näkemyksiä?
Jos personat eivät muovaa vastauksia, ehkä malleilla itsellään on erilaisia teorioita ongelmasta: yksi syyttää sääntelyä, toinen keinottelua. Neljännes vaihtelusta johtui siitä, että mallit tulkitsivat saman yhteyden eri tavoin, joten etsimme tuon eron suuntia: mallin, joka sijoittaa jokaisen mallin ja jokaisen yhteyden muutamalle ulottuvuudelle mallien omana itsenään antamien vastausten perusteella. Ulottuvuus lasketaan vain, jos se on vakaa eli jos sen sovittaminen erikseen yhteyksien kahteen puoliskoon sijoittaa mallit pitkälti samoihin kohtiin.
Yksi ulottuvuus oli vakaa, eikä se ollut teoria. Toisessa päässä olivat yhteydet, joissa on tuskin mitään järkeä, kuten ”ulkomaisten sijoittajien ostamat luksusasunnot” johtamassa siihen, että ”Amerikkaan tulee 600 000–1,2 miljoonaa maahanmuuttajaa vuodessa”, ja heikommat mallit hyväksyivät ne. Toisessa päässä oli yksi johdonmukainen mekanismi, asukkaiden äänet ja vakiintuneiden toimijoiden edut pitämässä tarjontaa rajallisena, ja vahvemmat mallit hyväksyivät sen kaikki. Ulottuvuus kertoo, kuinka hyvin malli arvioi: vahvat mallit ovat lähellä toisiaan, ja jokainen heikko malli poikkeaa niistä omalla tavallaan.
Yhdentoista vahvemman mallin kesken, tutkimuksen 120 yhteyteen sovitettuna, mikään ei ollut vakaata. Yhteyksiä oli liian vähän. Kun sovitus tehtiin huoneen kaikkiin 870 yhteyteen, joihin samat yksitoista mallia vastasivat omana itsenään, ero tuli näkyviin, ja se on vakaa: yhteyksien kahteen puoliskoon erikseen sovitettuina mallit päätyvät lähes samoihin kohtiin (0,89).
Toisessa päässä mallit hyväksyvät yhteyksiä ihmisten eduista poliittisiin päätöksiin: omistusasujien intressi nousevissa hinnoissa johtamassa hallituksen tarjontaa rajoittaviin muutoksiin, asukkaiden äänet johtamassa Proposition 13:een. Siellä ovat Gemini 3.5 Flash, Claude Sonnet 5.5, Nex ja DeepSeek. Toisessa päässä mallit hyväksyvät yhteyksiä esteistä tarjontamekanismiin: sääntely, vakiintuneiden toimijoiden edut, kunnat, jotka torjuvat edulliset asunnot, ja omistusoikeudet, kukin johtamassa siihen, että ”useammat asunnot laskevat hintoja”. Siellä ovat Mistral Small, Ministral 8B, Laguna ja Qwen. Karkeasti sanottuna toinen puoli selittää asumista sillä, kuka hyötyy poliittisesti, toinen sillä, mikä estää tarjontaa. Tämä tulkinta on meidän, kummankin pään yhteyksien perusteella. Toinen ulottuvuus sijoittaa molemmat GPT-OSS-mallit toiseen päähän, mutta sen yhteyksillä ei ole yhteistä teemaa, jonka osaisimme nimetä.
Vaihtelu on samassa linjassa. Yhdentoista vahvemman mallin kesken yhteys itse selittää siitä 68 %, kun kaikilla 21 mallilla osuus on 52 %, ja mallikohtaiset tulkinnat putoavat 24 %:sta 8 %:iin: noin kaksi kolmasosaa siitä, mikä näytti erilaisilta tulkinnoilta, tuli heikommista malleista. Loppu on pienempää, mutta se on edellä kuvattu johdonmukainen ero.
Mitä tämä merkitsee True Causesille
Mallipaneeli tarjoaa arvostelukykyä, mutta kapealla näkemysten kirjolla. Personat eivät lisää näkökulmia. Kyvykkäät mallit ovat samaa mieltä useimmista yhteyksistä ja eroavat johdonmukaisesti lopuista poliittisten ja tarjontaan perustuvien selitysten välisellä linjalla. Se on kirjo, mutta kapea, ja sen määrää se, miten mallit on koulutettu: se ei ole se näkemysten kirjo, jonka erilaisen kokemuksen omaavat ihmiset toisivat. Deliberaatioita tiivistäviä malleja koskeva tutkimus osoittaa samaan suuntaan: tiivistelmät aliedustavat vähemmistökantoja 18 mallissa (Zhu ym., 2025), ja konsensuksen löytämiseksi kirjoitetut lausumat voivat saada kannatusta enemmän sävynsä kuin sisältönsä ansiosta (Tsai ym., 2024). True Causesissa malli ei puhu huoneen puolesta. Se kirjoittaa tai arvioi yksittäisiä yhteyksiä, jokainen arvio lasketaan, ja jakautuminen pysyy kartalla jakautumisena.
Paneelin valinnassa laatu tulee ensin, sitten tasapaino. Suurin ero mallien välillä on se, kuinka hyvin ne arvioivat, joten paneelin pitäisi koostua kyvykkäistä malleista ja heikot pitäisi jättää pois. Kyvykkäiden mallien perheet kallistuvat eri suuntiin, joten paneelin pitäisi ammentaa useista, eikä minkään perheen pitäisi olla muita suurempi.
Mallit pitäisi seuloa ennen kuin ne saavat paikan. Malli, joka vastaa kaikkeen kyllä, kaikkeen ei tai kaikkeen ”en osaa sanoa”, lisää kohinaa jokaiseen arvioimaansa pariin. Lyhyt kalibrointi tunnetuilla yhteyksillä löytää ne.
Personia ei pitäisi käyttää arviointiin. Ne lisäävät pidättäytymisiä ja asemaan liittyvän stereotypian, eivätkä lainkaan arvioiden moninaisuutta. Kirjoittaminen on eri kysymys. Personoilla varustettujen mallien huone kirjoittaa monipuolisia kortteja, mutta eri mallit kirjoittavat eri tavoin, ja yksi malli kirjoittaa eri tavalla joka kerta, kun siltä kysytään, joten monipuoliset kortit eivät yksinään osoita, että personat tekivät mitään. Testi on sama, jota tässä käytettiin arviointiin: samat mallit kirjoittavat syitä personan kanssa ja ilman, ja kunkin tuottamat erilliset syyt lasketaan.
Ihmisten huoneet ovat eri asia. Ihminen tuo sen, mitä on nähnyt, ei kuvausta jostakusta, joka on ehkä nähnyt sen. Tämä tutkimus ei sano mitään sitä vastaan; se sanoo, että malli, jolle kerrotaan sen olevan vuokralainen, ei ole elänyt vuokralaisena. Kun tarkoitus on selvittää, mistä ihmiset ovat eri mieltä, sen voivat tarjota vain ihmiset. Noissa huoneissa malli on hyödyllisempi kysyjänä kuin vastaajana: kysymys kortista, yksi kerrallaan ja ilman omaa näkemystä (mitä näkisit, jos tämä olisi totta? mitä tapahtuu välissä?), auttaa kirjoittajaa tekemään syyn selväksi panematta mallin sanoja hänen suuhunsa.
Rajoitukset
Yksi kysymys, asuminen; 120 yhteyttä; neljä tai viisi personaa mallia kohden, kukin vastaamassa kerran. Vaikutukset, jotka ovat tätä asetelmaa pienempiä, eivät näkyisi. Personat kirjoitettiin roolikuvauksina; vahvemmat tavat herättää ne, kuten mallin pyytäminen päättelemään roolissa ennen vastaamista, voivat siirtää sitä enemmän, ja samalla kasvaa karikatyyrin riski (Cheng ym., 2023). Informatiivisuus mittaa yhtäpitävyyttä paneelin kanssa, ei totuutta, ja deliberaation arvioijina käytetyt mallit ovat ihmisten kanssa samaa mieltä huonommin kuin voisi toivoa (Zhu ym., 2025): paneeli, joka on samaa mieltä itsensä kanssa, voi silti olla väärässä samaan suuntaan. Ero kyvykkäiden mallien välillä näkyi vasta kaikilla 870 yhteydellä; 120:lla se oli näkymätön, joten pienempiä eroja voi yhä jäädä huomaamatta, ja asumista kiistanalaisempi kysymys voisi jakaa malleja enemmän.
Lähteet
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.