MAELEZO · MAJOPO YA MODELI
Iambie modeli ni nani. Maamuzi yake ya visababishi hayabadiliki kwa kiasi kinachoonekana.
Oktoba 2026
Vyumba vya modeli za lugha kwenye True Causes vinaipa kila modeli mhusika wa kuigiza: muuguzi anayepanga nyumba, mstaafu anayemiliki nyumba, mjenzi mdogo wa nyumba za kuuza. Wazo ni kwamba watu tofauti wanaona vyanzo tofauti, na jopo la modeli zinazowaigiza lingeona hivyo pia. Kama modeli inayoambiwa ni nani inajibu kama mtu huyo ni swali linalojulikana (Argyle et al., 2023); tulilijaribu kwa maamuzi ya visababishi.
Kwa kupima, haijibu hivyo. Katika modeli 21 na wahusika 14, mhusika aliyepewa modeli hakubadilisha kwa kiasi chochote tulichoweza kupima viungo vipi vya visababishi iliyakubali. Ni modeli ipi ilikuwa ndiyo iliyobadilisha mengi.
Utafiti
Tulichukua viungo 120 kutoka chumba cha kumbukumbu za umma kuhusu gharama ya makazi, vilivyochaguliwa ili viungo ambavyo chumba kilivithibitisha, kilivikataa na kisichoweza kuviamua viwakilishwe kwa usawa. Kila moja ya modeli 21 ilijibu kila kiungo, mara moja ikiwa yenyewe na mara nne au tano ikiwa mhusika tofauti: wahusika kumi na wawili wa makazi (wapangaji na wamiliki, mwenye nyumba za kupangisha, mpangaji wa miji, mjenzi wa nyumba za kuuza, mratibu wa wapangaji, kibarua wa ujenzi na wengine), na mapacha wawili, mtu yuleyule isipokuwa jambo moja, kupanga badala ya kumiliki. Kila mhusika aliigizwa na modeli saba. Hivyo ni viti 119 na majibu 14,220, kila kiti kikijibu kila kiungo, kwa hivyo hakuna jibu lililotegemea jingine.
Nini kiliamua majibu
Kiungo chenyewe kinaeleza takriban nusu ya tofauti zote (52%): modeli kwa kiasi kikubwa zinakubaliana juu ya viungo vipi vinaaminika. Usomaji wa modeli yenyewe wa viungo fulani unaeleza robo nyingine (24%), bila kujali inaigiza mhusika gani. Mwelekeo wa jumla wa modeli wa kusema ndiyo unaongeza 3%.
Mhusika hakuongeza chochote. Sehemu yake katika tofauti ya viungo vipi vilipata ndiyo ilikuwa 0.000; sehemu yake katika mwelekeo wa jumla wa kusema ndiyo, 0.002. Jaribio linalojaribu kumtambua mhusika kutoka majibu ya kiti, kwa modeli ambazo halikuwa limemwona ndani yake, halikufanya vizuri kuliko kubahatisha (6.1% dhidi ya 7.1%). Na viti havikusogea kwa mwelekeo ambao sifa za mhusika wao zingetabiri: uhusiano ulikuwa sifuri. Mhusika alipobadilisha jibu, katika kati ya 1% na 15% ya viungo kutegemea modeli, alilibadilisha kwa nasibu.
Hili linalingana na kile ambacho wengine wamepata. Vigezo vya mhusika vinaeleza kidogo tu cha tofauti katika kazi za kuweka lebo (Hu & Collier, 2024), na jukumu linalotajwa katika maagizo ya mfumo halibadilishi majibu ya modeli kwa uthabiti (Zheng et al., 2024). Kwa modeli, swali la visababishi linasomeka kama swali kuhusu dunia, si kuhusu mtu anayeuliza.
Kile ambacho wahusika walibadilisha: nani anajibu
Wahusika walifanya modeli kusema “siwezi kusema” mara nyingi zaidi, 26% ya mara dhidi ya 19% zikiwa zenyewe, na si kwa usawa. Wahusika vijana, wa kipato cha chini, wapangaji, wa mrengo wa kushoto na wasio wa Marekani walijizuia zaidi, kwa hadi alama 14; wahusika wazee, wa mrengo wa kulia, wenye nyumba za kupangisha, wa kipato cha juu na wamiliki walijizuia kidogo, kwa hadi alama 13. Modeli ziliwaigiza wahusika wa hadhi ya chini kama wasio na uhakika sana wa wanachokijua. Inajulikana kuwa maagizo ya mhusika hubeba fikra potofu kama hizo hadi katika hoja (Gupta et al., 2024). Baadhi ya modeli zilikataa mara nyingi zaidi sana zikiwa na mhusika: Gemini 3.5 Flash ilisema “siwezi kusema” kwa 59% ya viungo ikiwa mhusika na kwa hakuna hata kimoja ikiwa yenyewe.
Modeli zipi zinaamua vizuri
Chati zinaweka kila modeli kulingana na mara ngapi inasema ndiyo (kwa ulalo) na jinsi majibu yake yalivyo na taarifa (kwenda juu). Kiwango cha taarifa kinakadiriwa bila kujua majibu sahihi, kutokana na jinsi modeli zinavyokubaliana zenyewe kwa zenyewe (Dawid & Skene, 1979): 1 ni mwamuzi thabiti kikamilifu, 0 ni jibu lisilobeba ishara yoyote. Kinapima makubaliano na kile jopo zima linachopata, si usahihi, kwa hivyo modeli yenye nguvu isiyokubaliana na dhaifu inaweza kupata alama ya chini kuliko inavyostahili.
Modeli nyingi zinapambanua: zinasema ndiyo kwa kati ya robo moja na theluthi mbili ya viungo, na majibu yao yanabeba ishara. Claude Sonnet 5.5 na DeepSeek V4 Flash zinakubaliana zaidi na jopo. Modeli ndogo kama Gemma 3 4B na Command R7B zinabeba kidogo. Schematron, modeli iliyojengwa kwa ajili ya kutoa data badala ya kupima madai, ilisema “siwezi kusema” karibu kwa kila kitu, na kile ilichojibu kinabeba karibu hakuna ishara.
Je, modeli zina mitazamo yao wenyewe?
Ikiwa wahusika hawaundi majibu, labda modeli zenyewe zina nadharia tofauti za tatizo, moja ikilaumu kanuni za udhibiti, nyingine ulanguzi. Robo ya tofauti ilikuwa modeli zikisoma kiungo kilekile kwa njia tofauti, kwa hivyo tulitafuta mielekeo ya tofauti hiyo: modeli ya takwimu inayoweka kila modeli na kila kiungo kwenye vipimo vichache, kutokana na majibu ya modeli zikiwa zenyewe. Kipimo kinahesabika tu kikiwa thabiti, yaani, kukiweka kando kwenye nusu mbili za viungo kunaziweka modeli karibu mahali palepale.
Kipimo kimoja kilikuwa thabiti, na hakikuwa nadharia. Upande mmoja kulikuwa na viungo visivyo na maana sana, kama “nyumba za kifahari zinazonunuliwa na wawekezaji wa kigeni” zikiongoza kwa “Marekani inaongeza wahamiaji 600,000 hadi milioni 1.2 kwa mwaka”, ambavyo modeli dhaifu zilivikubali. Upande mwingine kulikuwa na utaratibu mmoja unaoeleweka, kura za wakazi na maslahi ya walio madarakani yakiweka ugavi kuwa mdogo, ambao modeli zote zenye nguvu ziliukubali. Kipimo hicho ni jinsi modeli inavyoamua vizuri: modeli zenye nguvu zinakaa karibu pamoja, na kila modeli dhaifu inaachana nazo kwa njia yake yenyewe.
Kati ya modeli kumi na moja zenye nguvu zaidi, zikipimwa kwenye viungo 120 vya utafiti, hakuna kilichokuwa thabiti. Viungo hivyo vilikuwa vichache mno. Zikipimwa kwenye viungo vyote 870 vya chumba, vilivyojibiwa na modeli hizohizo kumi na moja zikiwa zenyewe, tofauti ilijitokeza, na ni thabiti: zikipimwa kando kwenye nusu mbili za viungo, modeli zinatua karibu mahali palepale (0.89).
Upande mmoja, modeli zinakubali viungo kutoka maslahi ya watu hadi maamuzi ya kisiasa: maslahi ya wamiliki wa nyumba katika bei zinazopanda yakiongoza kwa mabadiliko ya serikali yanayozuia ugavi, kura za wakazi zikiongoza kwa Proposition 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex na DeepSeek ziko huko. Upande mwingine, modeli zinakubali viungo kutoka vizuizi hadi utaratibu wa ugavi: kanuni za udhibiti, maslahi ya walio madarakani, halmashauri zinazokataa nyumba za gharama nafuu na haki za mali, kila kimoja kikiongoza kwa “nyumba nyingi zaidi hupunguza bei”. Mistral Small, Ministral 8B, Laguna na Qwen ziko huko. Kwa ukadiriaji, upande mmoja unaeleza makazi kupitia nani anafaidika kisiasa, mwingine kupitia kile kinachozuia ugavi. Usomaji huo ni wetu, kutokana na viungo vya kila upande. Kipimo cha pili kinaweka modeli zote mbili za GPT-OSS upande mmoja, lakini viungo vyake havina mada moja tunayoweza kuitaja.
Mgawanyo wa tofauti unakubaliana na hili. Kati ya modeli kumi na moja zenye nguvu zaidi, kiungo chenyewe kinaeleza 68% ya tofauti, dhidi ya 52% kwa modeli zote 21, na usomaji maalumu wa kila modeli unashuka kutoka 24% hadi 8%: takriban theluthi mbili ya kile kilichoonekana kama usomaji tofauti kilitoka kwa modeli dhaifu. Kilichobaki ni kidogo zaidi, lakini ndiyo tofauti thabiti iliyoelezwa juu.
Hili linamaanisha nini kwa True Causes
Jopo la modeli linatoa uamuzi, lenye wigo mwembamba wa mitazamo. Wahusika hawaongezi mitazamo. Modeli zenye uwezo zinakubaliana juu ya viungo vingi, na zinatofautiana kwa uthabiti juu ya vilivyobaki, kwenye mstari kati ya maelezo ya kisiasa na ya ugavi. Huo ni wigo, lakini mwembamba, uliowekwa na jinsi modeli zilivyofunzwa: si wigo wa mitazamo ambao watu wenye uzoefu tofauti wangeuleta. Utafiti juu ya modeli zinazofupisha majadiliano unaelekeza upande uleule: mafupisho hayo yanawakilisha kwa upungufu misimamo ya wachache, katika modeli 18 (Zhu et al., 2025), na kauli zinazoandikwa kutafuta muafaka zinaweza kupata makubaliano kwa sababu ya mtindo wake zaidi kuliko maudhui yake (Tsai et al., 2024). Kwenye True Causes modeli haisemi kwa niaba ya chumba. Inaandika au inapima viungo kimoja kimoja, kila uamuzi unahesabiwa, na mgawanyiko unabaki kwenye ramani kama mgawanyiko.
Kuchagua jopo ni suala la ubora kwanza, kisha uwiano. Tofauti kubwa zaidi kati ya modeli ni jinsi zinavyoamua vizuri, kwa hivyo jopo linapaswa kuwa la modeli zenye uwezo, na dhaifu ziachwe nje. Kati ya modeli zenye uwezo, familia tofauti zinaegemea pande tofauti, kwa hivyo jopo linapaswa kuchukua kutoka familia kadhaa, na hakuna familia moja inayopaswa kuzizidi nyingine kwa idadi.
Modeli zinapaswa kuchujwa kabla hazijapewa kiti. Modeli inayosema ndiyo kwa kila kitu, hapana kwa kila kitu au “siwezi kusema” kwa kila kitu inaongeza kelele kwa kila jozi inayoipima. Upimaji mfupi kwenye viungo vinavyojulikana unazipata.
Wahusika hawapaswi kutumika kwa kupima. Wanaongeza kujizuia na fikra potofu za hadhi, na hakuna utofauti wa maamuzi. Kuandika ni swali tofauti. Chumba cha modeli zenye wahusika kinaandika kadi za aina mbalimbali, lakini modeli tofauti zinaandika tofauti, na modeli moja inaandika tofauti kila inapoulizwa, kwa hivyo kadi za aina mbalimbali peke yake hazionyeshi kwamba wahusika walifanya chochote. Jaribio ni lile lililotumika hapa kwa kupima: modeli zilezile zinaandika vyanzo zikiwa na mhusika na bila mhusika, na vyanzo tofauti ambavyo kila njia inazalisha vinahesabiwa.
Vyumba vya watu ni tofauti. Mtu analeta kile alichokiona, si maelezo ya mtu ambaye huenda alikiona. Utafiti huu hausemi chochote dhidi ya hilo; unasema kwamba modeli iliyoambiwa ni mpangaji haijaishi kama mpangaji. Pale lengo ni kugundua watu hawakubaliani juu ya nini, ni watu pekee wanaoweza kulileta. Katika vyumba hivyo modeli inafaa zaidi kuuliza kuliko kujibu: swali kuhusu kadi, moja kwa wakati na bila mtazamo wake yenyewe (ungeona nini kama hili lingekuwa kweli? nini kinatokea katikati?), linamsaidia mwandishi wake kufanya chanzo kiwe wazi bila kuweka maneno ya modeli kinywani mwake.
Mipaka
Swali moja, makazi; viungo 120; wahusika wanne au watano kwa kila modeli, kila mmoja akijibu mara moja. Athari ndogo kuliko zile ambazo muundo huu unaweza kuona zisingeonekana. Wahusika waliandikwa kama maelezo ya majukumu; njia zenye nguvu zaidi za kuwajenga, kama kuiomba modeli ifikiri ikiwa ndani ya mhusika kabla ya kujibu, zinaweza kuisogeza zaidi, pamoja na hatari ya kuigiza kwa kubeza (Cheng et al., 2023). Kiwango cha taarifa kinapima makubaliano na jopo, si ukweli, na modeli zinazotumika kama waamuzi wa majadiliano zinakubaliana na watu kwa kiwango cha chini kuliko mtu angetarajia (Zhu et al., 2025): jopo linalokubaliana na lenyewe bado linaweza kukosea kwa mwelekeo mmoja. Tofauti kati ya modeli zenye uwezo ilijitokeza tu kwa viungo vyote 870; kwa 120 haikuonekana, kwa hivyo tofauti ndogo zaidi bado zinaweza kubaki bila kuonekana, na swali linalobishaniwa zaidi kuliko makazi linaweza kuzigawa modeli zaidi.
Marejeo
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.