QAYDLAR · MODELLAR HAYʼATLARI
Modelga kimligini ayting. Uning sabab haqidagi baholari deyarli oʻzgarmaydi.
2026 yil oktabr
True Causes’dagi til modellari xonalari har bir modelga personaj beradi: ijarada yashaydigan hamshira, nafaqadagi uy egasi, kichik quruvchi. Gʻoya shundaki, turli odamlar turli sabablarni koʻradi va ularni oʻynayotgan modellar hayʼati ham shunday qiladi. Kimligi aytilgan model oʻsha odamdek javob beradimi — bu maʼlum savol (Argyle et al., 2023); biz uni sabab haqidagi baholarda sinab koʻrdik.
Baholashda bunday boʻlmaydi. 21 ta model va 14 ta personaj boʻyicha modelga berilgan personaj u qaysi sabab bogʻlanishlarini qabul qilishini biz oʻlchay oladigan hech qanday darajada oʻzgartirmadi. Qaysi model ekani esa juda katta farq qildi.
Tadqiqot
Biz uy-joy narxining arzonligi boʻyicha ochiq bayonnomali xonadan 120 ta bogʻlanish oldik, xona tasdiqlagan, rad etgan va hal qila olmagan bogʻlanishlar teng ifodalanadigan qilib tanladik. 21 ta modelning har biri har bir bogʻlanishga bir marta oʻzi sifatida va toʻrt-besh marta boshqa personaj sifatida javob berdi: uy-joy boʻyicha oʻn ikkita personaj (ijarachilar va uy egalari, ijaraga beruvchi, rejalashtiruvchi, quruvchi, ijarachilar tashkilotchisi, qurilish ishchisi va boshqalar) va ikkita egizak — bitta faktdan tashqari bir xil odam: uyi oʻziniki emas, ijarada. Har bir personajni yettita model oʻynadi. Bu 119 ta oʻrin va 14 220 ta javob, har bir oʻrin har bir bogʻlanishga javob berdi, shuning uchun hech bir javob boshqasiga bogʻliq emas edi.
Javoblarni nima hal qildi
Barcha oʻzgaruvchanlikning taxminan yarmini (52%) bogʻlanishning oʻzi tushuntiradi: modellar qaysi bogʻlanishlar ishonarli ekanida asosan kelishadi. Modelning muayyan bogʻlanishlarni oʻzicha oʻqishi yana chorak qismini (24%) tushuntiradi, u qaysi personajni oʻynamasin. Modelning umuman “ha” deyishga moyilligi 3% qoʻshadi.
Personaj hech narsa qoʻshmadi. Qaysi bogʻlanishlar “ha” olishidagi oʻzgaruvchanlikda uning ulushi 0,000; umuman “ha”ga moyillikda — 0,002. Oʻrinning javoblaridan personajni u koʻrilmagan modellar boʻyicha aniqlashga urinadigan test tasodifdan yaxshiroq natija bermadi (7,1% ga qarshi 6,1%). Oʻrinlar oʻz personajining xususiyatlari bashorat qiladigan tomonga ham siljimadi: korrelyatsiya nolga teng edi. Personaj javobni oʻzgartirganda — modelga qarab bogʻlanishlarning 1% dan 15% gachasida — u uni tasodifiy oʻzgartirdi.
Bu boshqalar topgan narsaga mos keladi. Personaj oʻzgaruvchilari annotatsiya vazifalaridagi dispersiyaning ozgina qismini tushuntiradi (Hu & Collier, 2024), tizim soʻrovida nomlangan rol esa model javoblarini izchil oʻzgartirmaydi (Zheng et al., 2024). Model uchun sabab haqidagi savol soʻrayotgan odam haqida emas, dunyo haqidagi savol boʻlib oʻqiladi.
Personajlar nimani oʻzgartirdi: kim javob beradi
Personajlar modellarni “ayta olmayman” deyishga tez-tez undadi — oʻzi sifatida 19% ga qarshi 26% hollarda, va bir tekisda emas. Yosh, kam daromadli, ijarachi, chap qarashli va AQShdan boʻlmagan personajlar koʻproq betaraf qoldi — 14 punktgacha; yoshi kattaroq, oʻng qarashli, ijaraga beruvchi, yuqori daromadli va uy egasi personajlar kamroq — 13 punktgacha. Modellar quyi maqomli personajlarni oʻz bilganiga kamroq ishonadigan qilib oʻynadi. Personaj soʻrovlari bunday stereotiplarni mulohazaga olib kirishi maʼlum (Gupta et al., 2024). Baʼzi modellar personaj bilan ancha koʻp rad etdi: Gemini 3.5 Flash personaj sifatida bogʻlanishlarning 59% iga “ayta olmayman” dedi, oʻzi sifatida esa birortasiga ham.
Qaysi modellar yaxshi baholaydi
Diagrammalar har bir modelni qanchalik tez-tez “ha” deyishi (gorizontal) va javoblari qanchalik maʼlumotli ekani (vertikal) boʻyicha joylashtiradi. Maʼlumotlilik toʻgʻri javoblarni bilmasdan, modellarning bir-biri bilan qanday kelishishidan baholanadi (Dawid & Skene, 1979): 1 — mutlaqo izchil baholovchi, 0 — hech qanday signal bermaydigan javob. U toʻgʻrilikni emas, butun hayʼat topgan narsa bilan kelishuvni oʻlchaydi, shuning uchun zaifroqlari bilan kelishmaydigan kuchli model munosib boʻlganidan pastroq ball olishi mumkin.
Koʻpchilik modellar farqlaydi: ular bogʻlanishlarning chorakdan uchdan ikkisigacha qismiga “ha” deydi va ularning javoblarida signal bor. Claude Sonnet 5.5 va DeepSeek V4 Flash hayʼat bilan eng koʻp kelishadi. Gemma 3 4B va Command R7B kabi kichikroq modellarda signal kamroq. Daʼvolarni baholash uchun emas, maʼlumot ajratib olish uchun yaratilgan Schematron deyarli hamma narsaga “ayta olmayman” dedi, javob bergan narsalarida esa deyarli hech qanday signal yoʻq.
Modellarning oʻz qarashlari bormi?
Agar personajlar javoblarni shakllantirmasa, balki modellarning oʻzlarida muammo haqida turli nazariyalar bordir — biri tartibga solishni, boshqasi chayqovchilikni ayblaydi. Oʻzgaruvchanlikning chorak qismi modellarning bir xil bogʻlanishni turlicha oʻqishi edi, shuning uchun biz bu farqning yoʻnalishlarini qidirdik: modellarning oʻzi sifatida bergan javoblaridan har bir model va har bir bogʻlanishni bir nechta oʻlchovga joylashtiradigan model. Oʻlchov faqat barqaror boʻlsa hisobga olinadi, yaʼni uni bogʻlanishlarning ikki yarmida alohida moslash modellarni deyarli bir xil joylarga qoʻysa.
Bitta oʻlchov barqaror edi va u nazariya emas edi. Bir chetida deyarli maʼnosiz bogʻlanishlar turardi, masalan “xorijiy investorlar sotib olgan hashamatli kvartiralar”dan “Amerikaga yiliga 600 000 dan 1,2 milliongacha immigrant qoʻshiladi”ga, ularni zaifroq modellar qabul qildi. Boshqa chetida bitta izchil mexanizm turardi — aholining ovozlari va mavjud manfaatdorlarning manfaatlari taklifni cheklab turishi — buni kuchliroq modellarning hammasi qabul qildi. Bu oʻlchov — model qanchalik yaxshi baholashi: kuchli modellar bir-biriga yaqin turadi, har bir zaif model esa ulardan oʻzicha uzoqlashadi.
Oʻn bitta kuchliroq model orasida, tadqiqotning 120 ta bogʻlanishida moslanganda, hech narsa barqaror emas edi. Bu juda kam bogʻlanish edi. Xonaning barcha 870 ta bogʻlanishida — oʻsha oʻn bitta model oʻzi sifatida javob bergan — moslanganda farq paydo boʻldi va u barqaror: bogʻlanishlarning ikki yarmida alohida moslanganda modellar deyarli bir xil joylarga tushadi (0,89).
Bir chetida modellar odamlarning manfaatlaridan siyosiy qarorlarga boradigan bogʻlanishlarni qabul qiladi: uy egalarining narxlar oʻsishidan manfaatdorligi hukumatning taklifga qarshi oʻzgarishlariga, aholining ovozlari Proposition 13 ga olib kelishi. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex va DeepSeek shu yerda. Boshqa chetida modellar toʻsiqlardan taklif mexanizmiga boradigan bogʻlanishlarni qabul qiladi: tartibga solish, mavjud manfaatdorlarning manfaatlari, arzon kvartiralarni rad etadigan kengashlar va mulk huquqlari, har biri “koʻproq uy-joy narxlarni pasaytiradi”ga olib keladi. Mistral Small, Ministral 8B, Laguna va Qwen shu yerda. Taxminan aytganda, bir tomon uy-joyni kim siyosiy jihatdan yutishi bilan, ikkinchisi taklifni nima toʻsishi bilan tushuntiradi. Bu talqin — bizniki, har bir chetdagi bogʻlanishlardan. Ikkinchi oʻlchov ikkala GPT-OSS modelini bir chetga qoʻyadi, lekin uning bogʻlanishlarida biz nomlay oladigan umumiy mavzu yoʻq.
Oʻzgaruvchanlik ham shunga mos. Oʻn bitta kuchliroq model orasida uning 68% ini bogʻlanishning oʻzi tushuntiradi, barcha 21 ta modelda esa 52%, modelga xos oʻqishlar esa 24% dan 8% ga tushadi: turli oʻqishlardek koʻringan narsaning taxminan uchdan ikki qismi zaifroq modellardan kelgan. Qolgani kichikroq, lekin bu yuqoridagi izchil farq.
Bu True Causes uchun nimani anglatadi
Modellar hayʼati tor qarashlar doirasi bilan baho beradi. Personajlar hech qanday nuqtai nazar qoʻshmaydi. Qobiliyatli modellar koʻpchilik bogʻlanishlarda kelishadi va qolganlarida siyosiy va taklifga oid tushuntirishlar oʻrtasidagi chiziq boʻylab izchil farq qiladi. Bu doira, lekin tor doira, uni modellar qanday oʻqitilgani belgilaydi: turli tajribali odamlar olib keladigan qarashlar doirasi emas. Muhokamalarni umumlashtiradigan modellar boʻyicha tadqiqotlar ham shu tomonni koʻrsatadi: 18 ta model boʻyicha umumlashmalar ozchilik qarashlarini yetarlicha aks ettirmaydi (Zhu et al., 2025), konsensus topish uchun yozilgan gaplar esa mazmunidan koʻra ohangi bilan rozilik olishi mumkin (Tsai et al., 2024). True Causes’da model xona nomidan gapirmaydi. U alohida bogʻlanishlarni yozadi yoki baholaydi, har bir baho sanaladi, ikkiga boʻlinish esa xaritada ikkiga boʻlinish sifatida qoladi.
Hayʼat tanlash — avval sifat, keyin muvozanat. Modellar oʻrtasidagi eng katta farq — ular qanchalik yaxshi baholashi, shuning uchun hayʼat zaiflari chiqarib tashlangan qobiliyatli modellardan iborat boʻlishi kerak. Qobiliyatli modellar orasida oilalar turli tomonga ogʻadi, shuning uchun hayʼat bir nechta oiladan olinishi va hech bir oila qolganlaridan koʻp boʻlmasligi kerak.
Modellar oʻrin olishdan oldin tekshirilishi kerak. Hamma narsaga “ha”, hamma narsaga “yoʻq” yoki hamma narsaga “ayta olmayman” deydigan model oʻzi baholaydigan har bir juftlikka shovqin qoʻshadi. Maʼlum bogʻlanishlarda qisqa kalibrlash ularni topadi.
Baholash uchun personajlardan foydalanmaslik kerak. Ular betaraflik va maqom stereotipini qoʻshadi, baholashda esa hech qanday xilma-xillik qoʻshmaydi. Yozish — alohida masala. Personajli modellar xonasi xilma-xil kartalar yozadi, lekin turli modellar turlicha yozadi va bitta model har safar soʻralganda turlicha yozadi, shuning uchun xilma-xil kartalarning oʻzi personajlar biror narsa qilganini koʻrsatmaydi. Sinov — bu yerda baholash uchun ishlatilgani: oʻsha modellar sabablarni personaj bilan va personajsiz yozadi va har biri yaratgan alohida sabablar sanaladi.
Odamlar xonalari boshqacha. Inson buni koʻrgan boʻlishi mumkin boʻlgan kishi tavsifini emas, oʻzi koʻrgan narsani olib keladi. Bu tadqiqot bunga qarshi hech narsa demaydi; u faqat ijarachi ekani aytilgan model ijarachi boʻlib yashamaganini aytadi. Maqsad odamlar nimada kelishmasligini aniqlash boʻlgan joyda buni faqat odamlar bera oladi. Bunday xonalarda model javob berishdan koʻra soʻrashda foydaliroq: karta haqida bitta-bitta, oʻz fikrisiz beriladigan savol (agar bu rost boʻlsa, nimani koʻrgan boʻlardingiz? oraligʻida nima boʻladi?) muallifga modelning soʻzlarini uning ogʻziga solmasdan sababni aniq qilishga yordam beradi.
Cheklovlar
Bitta savol — uy-joy; 120 ta bogʻlanish; har bir modelga toʻrt-beshta personaj, har biri bir marta javob bergan. Bu dizayn koʻra oladiganidan kichikroq taʼsirlar koʻrinmaydi. Personajlar rol tavsiflari sifatida yozilgan; ularni chaqirishning kuchliroq usullari, masalan modeldan javob berishdan oldin qahramon sifatida fikr yuritishni soʻrash, uni koʻproq siljitishi mumkin, karikatura xavfi bilan birga (Cheng et al., 2023). Maʼlumotlilik haqiqatni emas, hayʼat bilan kelishuvni oʻlchaydi, muhokama baholovchisi sifatida ishlatilgan modellar esa odamlar bilan kutilganidan yomonroq kelishadi (Zhu et al., 2025): oʻzi bilan kelishadigan hayʼat ham bir tomonga adashishi mumkin. Qobiliyatli modellar orasidagi farq faqat barcha 870 ta bogʻlanishda paydo boʻldi; 120 tasida u koʻrinmas edi, shuning uchun kichikroq farqlar hali koʻrinmay qolishi mumkin, uy-joydan koʻra bahsliroq savol esa modellarni koʻproq boʻlishi mumkin.
Adabiyotlar
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.