टिप्पणी · मोडेलका प्यानल

मोडेललाई ऊ को हो भनेर भन्नुहोस्। उसका कारणसम्बन्धी निर्णय मुस्किलले बदलिन्छन्।

अक्टोबर 2026

True Causes मा भाषा मोडेलका कोठाले हरेक मोडेललाई एउटा पात्र दिन्छन्: भाडामा बस्ने नर्स, आफ्नै घर भएका अवकाशप्राप्त व्यक्ति, सानो घर निर्माणकर्ता। विचार यो हो कि फरक मानिसले फरक कारण देख्छन्, र तिनको भूमिका खेल्ने मोडेलको प्यानलले पनि देख्नेछ। आफू को हो भनेर भनिएको मोडेलले त्यो व्यक्तिले जस्तै उत्तर दिन्छ कि दिँदैन भन्ने चिनिएको प्रश्न हो (Argyle et al., 2023); हामीले यसलाई कारणसम्बन्धी निर्णयमा परीक्षण गर्‍यौँ।

निर्णय गर्ने काममा यसले त्यसो गर्दैन। 21 मोडेल र 14 पात्रमा, मोडेललाई दिइएको पात्रले त्यसले कुन कारण-कडी स्वीकार गर्‍यो भन्ने कुरामा हामीले नाप्न सक्ने कुनै फरक पारेन। कुन मोडेल थियो भन्ने कुराले भने धेरै फरक पार्‍यो।

अध्ययन

हामीले आवासको पहुँचबारेको एउटा सार्वजनिक अभिलेख कोठा बाट 120 कडी लियौँ, यसरी छानेर कि कोठाले प्रमाणित गरेका, अस्वीकार गरेका र टुङ्ग्याउन नसकेका कडी बराबर होऊन्। 21 मोडेलमध्ये हरेकले हरेक कडीको उत्तर दियो, एक पटक आफ्नै रूपमा र चार वा पाँच पटक फरक पात्रका रूपमा: आवाससँग सम्बन्धित बाह्र पात्र (भाडावाल र घरधनी, घरबहाल दिने, योजनाकार, घर निर्माणकर्ता, भाडावालका सङ्गठनकर्ता, निर्माण मजदुर र अरू), र दुई जुम्ल्याहा, एउटै तथ्यबाहेक उस्तै व्यक्ति: आफ्नै घरको सट्टा भाडामा बस्ने। हरेक पात्रको भूमिका सात मोडेलले खेले। यसरी 119 सिट र 14,220 उत्तर भए, हरेक सिटले हरेक कडीको उत्तर दियो, त्यसैले कुनै उत्तर अर्कोमा निर्भर थिएन।

उत्तरहरू केले तय गरे

कडी आफैँले सबै भिन्नताको करिब आधा (52%) व्याख्या गर्छ: कुन कडी विश्वसनीय छन् भन्नेमा मोडेल धेरैजसो सहमत हुन्छन्। खास कडीलाई मोडेल आफैँले बुझ्ने तरिकाले अर्को एक चौथाइ (24%) व्याख्या गर्छ, उसले जुनसुकै पात्र खेले पनि। मोडेलको सामान्यतया हो भन्ने झुकावले 3% थप्छ।

पात्रले केही थपेन। कुन कडीले हो पायो भन्ने भिन्नतामा यसको हिस्सा 0.000 थियो; हो तर्फको सामान्य झुकावमा यसको हिस्सा 0.002। सिटका उत्तरबाट पात्र पहिचान गर्न खोज्ने परीक्षण, त्यो पात्र नदेखिएका मोडेलमा, अनुमानभन्दा राम्रो भएन (7.1% को तुलनामा 6.1%)। र सिटहरू आफ्नो पात्रका विशेषताले अनुमान गर्ने दिशामा सरेनन्: सहसम्बन्ध शून्य थियो। पात्रले कुनै उत्तर बदल्दा, मोडेलअनुसार 1% देखि 15% कडीमा, त्यसले अनियमित रूपमा बदल्यो।

यो अरूले भेट्टाएको कुरासँग मिल्छ। एनोटेसनका काममा पात्रसम्बन्धी चरले भिन्नताको थोरै भाग मात्र व्याख्या गर्छन् (Hu & Collier, 2024), र सिस्टम प्रम्प्टमा उल्लेख गरिएको भूमिकाले मोडेलका उत्तर एकनासले बदल्दैन (Zheng et al., 2024)। मोडेलका लागि कारणसम्बन्धी प्रश्न संसारबारेको प्रश्न हो, सोध्ने व्यक्तिबारेको होइन।

पात्रले के बदल्यो: उत्तर कसले दिन्छ

पात्रले मोडेललाई धेरै पटक “भन्न सकिँदैन” भन्न लगायो, आफ्नै रूपमा 19% को तुलनामा 26% पटक, र समान रूपमा होइन। युवा, कम आम्दानी भएका, भाडामा बस्ने, वामपन्थी झुकाव भएका र अमेरिकाबाहिरका पात्रले 14 अङ्कसम्म बढी उत्तर दिन छाडे; उमेर पुगेका, दक्षिणपन्थी झुकाव भएका, घरबहाल दिने, उच्च आम्दानी भएका र घरधनी पात्रले 13 अङ्कसम्म कम छाडे। मोडेलहरूले तल्लो हैसियतका पात्रलाई आफूलाई थाहा भएको कुरामा कम विश्वस्त भएझैँ खेले। पात्रका प्रम्प्टले यस्ता रूढ धारणा तर्कमा ल्याउँछन् भन्ने थाहा छ (Gupta et al., 2024)। केही मोडेलले पात्रसहित धेरै बढी अस्वीकार गरे: Gemini 3.5 Flash ले पात्रका रूपमा 59% कडीमा “भन्न सकिँदैन” भन्यो र आफ्नै रूपमा एउटामा पनि भनेन।

कुन मोडेलले राम्रो निर्णय गर्छन्

चार्टहरूले हरेक मोडेललाई त्यसले कति पटक हो भन्छ (तेर्सो) र त्यसका उत्तर कति सूचनामूलक छन् (ठाडो) भन्ने आधारमा राख्छन्। सूचनामूलकता सही उत्तर थाहा नपाई, मोडेलहरू एक-अर्कासँग कसरी सहमत हुन्छन् भन्ने आधारमा अनुमान गरिन्छ (Dawid & Skene, 1979): 1 पूर्ण रूपमा एकनासे निर्णयकर्ता हो, 0 कुनै सङ्केत नबोकेको उत्तर। यसले शुद्धता होइन, पूरै प्यानलले भेट्टाएको कुरासँगको सहमति नाप्छ, त्यसैले कमजोर मोडेलसँग असहमत हुने बलियो मोडेलले पाउनुपर्नेभन्दा कम अङ्क पाउन सक्छ।

धेरैजसो मोडेल छुट्याउन सक्छन्: तिनले एक चौथाइदेखि दुई तिहाइसम्म कडीमा हो भन्छन्, र तिनका उत्तरले सङ्केत बोक्छन्। Claude Sonnet 5.5 र DeepSeek V4 Flash प्यानलसँग सबैभन्दा बढी सहमत हुन्छन्। Gemma 3 4B र Command R7B जस्ता साना मोडेलले कम सङ्केत बोक्छन्। दाबीको निर्णय गर्न होइन, डेटा निकाल्न बनाइएको Schematron ले लगभग हरेक कुरामा “भन्न सकिँदैन” भन्यो, र त्यसले दिएका उत्तरले पनि लगभग कुनै सङ्केत बोक्दैनन्।

के मोडेलका आफ्नै धारणा हुन्छन्?

पात्रले उत्तरलाई आकार दिँदैन भने, सायद मोडेल आफैँ समस्याबारे फरक सिद्धान्त राख्छन्, एउटाले नियमनलाई दोष दिन्छ, अर्कोले सट्टेबाजीलाई। भिन्नताको एक चौथाइ भाग मोडेलहरूले उही कडीलाई फरक तरिकाले बुझेको थियो, त्यसैले हामीले त्यो भिन्नताको दिशा खोज्यौँ: मोडेलहरूले आफ्नै रूपमा दिएका उत्तरबाट हरेक मोडेल र हरेक कडीलाई केही आयाममा राख्ने एउटा मोडेल। कुनै आयाम स्थिर भए मात्र गनिन्छ, अर्थात् कडीका दुई आधामा छुट्टाछुट्टै मिलाउँदा त्यसले मोडेललाई लगभग उही ठाउँमा राख्छ भने।

एउटा आयाम स्थिर थियो, र त्यो कुनै सिद्धान्त थिएन। एक छेउमा मुस्किलले अर्थ लाग्ने कडी थिए, जस्तै “विदेशी लगानीकर्ताले किनेका महँगा अपार्टमेन्ट” बाट “अमेरिकामा वर्षमा 6 लाखदेखि 12 लाख आप्रवासी थपिन्छन्”, जुन कमजोर मोडेलले स्वीकार गरे। अर्को छेउमा एउटा सुसङ्गत संयन्त्र थियो, बासिन्दाका मत र पहिल्यैदेखि भएकाहरूको स्वार्थले आपूर्ति सीमित राख्ने, जुन सबै बलिया मोडेलले स्वीकार गरे। यो आयाम मोडेलले कति राम्रो निर्णय गर्छ भन्ने हो: बलिया मोडेल नजिकै बस्छन्, र हरेक कमजोर मोडेल आफ्नै तरिकाले तिनबाट टाढिन्छ।

एघार बलिया मोडेलमा, अध्ययनका 120 कडीमा मिलाउँदा, केही पनि स्थिर भएन। कडी धेरै थोरै थिए। कोठाका सबै 870 कडीमा, उही एघार मोडेलले आफ्नै रूपमा दिएका उत्तरमा मिलाउँदा, एउटा भिन्नता देखियो, र त्यो स्थिर छ: कडीका दुई आधामा छुट्टाछुट्टै मिलाउँदा मोडेल लगभग उही ठाउँमा पर्छन् (0.89)।

एक छेउमा, मोडेलहरू मानिसका स्वार्थबाट राजनीतिक निर्णयतर्फका कडी स्वीकार गर्छन्: बढ्दो मूल्यमा घरधनीको स्वार्थबाट सरकारका आपूर्तिविरोधी परिवर्तन, बासिन्दाका मतबाट Proposition 13। Gemini 3.5 Flash, Claude Sonnet 5.5, Nex र DeepSeek त्यहाँ छन्। अर्को छेउमा, मोडेलहरू अवरोधबाट आपूर्ति संयन्त्रतर्फका कडी स्वीकार गर्छन्: नियमन, पहिल्यैदेखि भएकाहरूको स्वार्थ, सस्ता फ्ल्याट अस्वीकार गर्ने स्थानीय निकाय र सम्पत्तिको अधिकार, हरेकबाट “धेरै आवास एकाइले मूल्य घटाउँछ”। Mistral Small, Ministral 8B, Laguna र Qwen त्यहाँ छन्। मोटामोटी, एउटा पक्षले आवासलाई राजनीतिक रूपमा कसलाई फाइदा हुन्छ भन्ने आधारमा व्याख्या गर्छ, अर्कोले आपूर्तिलाई केले रोक्छ भन्ने आधारमा। यो व्याख्या हाम्रो हो, हरेक छेउका कडीबाट। दोस्रो आयामले दुवै GPT-OSS मोडेललाई एक छेउमा राख्छ, तर त्यसका कडीमा हामीले नाम दिन सक्ने कुनै साझा विषय छैन।

भिन्नताको विश्लेषण पनि यसैसँग मिल्छ। एघार बलिया मोडेलमा कडी आफैँले यसको 68% व्याख्या गर्छ, सबै 21 मोडेलमा 52% को तुलनामा, र मोडेलविशेषका बुझाइ 24% बाट 8% मा झर्छन्: फरक बुझाइजस्तो देखिएको कुराको करिब दुई तिहाइ कमजोर मोडेलबाट आएको थियो। बाँकी सानो छ, तर त्यो माथिको एकनासे भिन्नता हो।

True Causes का लागि यसको अर्थ

मोडेलको प्यानलले निर्णय दिन्छ, धारणाको साँघुरो दायरासहित। पात्रले कुनै दृष्टिकोण थप्दैनन्। सक्षम मोडेल धेरैजसो कडीमा सहमत हुन्छन्, र बाँकीमा राजनीतिक र आपूर्तिसम्बन्धी व्याख्याबीचको रेखामा एकनासले फरक पर्छन्। त्यो एउटा दायरा हो, तर साँघुरो, मोडेललाई कसरी तालिम दिइयो भन्ने कुराले तय गरेको: फरक अनुभव भएका मानिसले ल्याउने धारणाको दायरा होइन। विमर्शको सारांश बनाउने मोडेलबारेको अनुसन्धानले पनि यही देखाउँछ: 18 मोडेलमा सारांशले अल्पमतका धारणालाई कम प्रतिनिधित्व दिन्छन् (Zhu et al., 2025), र सहमति खोज्न लेखिएका कथनले विषयवस्तुभन्दा बढी आफ्नो लवजले सहमति जित्न सक्छन् (Tsai et al., 2024)। True Causes मा मोडेलले कोठाको तर्फबाट बोल्दैन। यसले एक-एक कडी लेख्छ वा तिनको निर्णय गर्छ, हरेक निर्णय गनिन्छ, र बाँडिएको मत नक्सामा बाँडिएकै रूपमा रहन्छ।

प्यानल छान्दा पहिले गुणस्तर, अनि सन्तुलन। मोडेलबीचको सबैभन्दा ठूलो भिन्नता तिनले कति राम्रो निर्णय गर्छन् भन्ने हो, त्यसैले प्यानलमा कमजोर मोडेल हटाएर सक्षम मोडेल हुनुपर्छ। सक्षम मोडेलमध्ये पनि परिवारहरू फरक दिशामा झुक्छन्, त्यसैले प्यानलले धेरै परिवारबाट लिनुपर्छ, र कुनै एउटा परिवारको सङ्ख्या बाँकीभन्दा बढी हुनु हुँदैन।

मोडेललाई सिटमा राख्नुअघि जाँच्नुपर्छ। हरेक कुरामा हो, हरेक कुरामा होइन, वा हरेक कुरामा “भन्न सकिँदैन” भन्ने मोडेलले आफूले निर्णय गर्ने हरेक जोडीमा होहल्ला मात्र थप्छ। उत्तर थाहा भएका कडीमा छोटो परीक्षणले तिनलाई भेट्टाउँछ।

निर्णयका लागि पात्र प्रयोग गर्नु हुँदैन। तिनले उत्तर नदिने प्रवृत्ति र हैसियतसम्बन्धी रूढ धारणा थप्छन्, निर्णयमा कुनै विविधता थप्दैनन्। लेख्ने काम भने छुट्टै प्रश्न हो। पात्रसहितका मोडेलको कोठाले विविध कार्ड लेख्छ, तर फरक मोडेल फरक तरिकाले लेख्छन्, र एउटै मोडेलले पनि हरेक पटक सोध्दा फरक लेख्छ, त्यसैले विविध कार्डले मात्र पात्रले केही गर्‍यो भनेर देखाउँदैनन्। परीक्षण यहाँ निर्णयका लागि प्रयोग गरिएकै हो: उही मोडेलले पात्रसहित र पात्रबिना कारण लेख्छन्, र हरेकले निकालेका अलग-अलग कारण गनिन्छन्।

मानिसका कोठा फरक हुन्छन्। व्यक्तिले आफूले देखेको कुरा ल्याउँछ, त्यो देखेको हुन सक्ने कसैको वर्णन होइन। यो अध्ययनले त्यसको विरोधमा केही भन्दैन; यसले भाडावाल हौ भनेर भनिएको मोडेलले भाडावालको जीवन बिताएको छैन भन्छ। मानिसहरू केमा असहमत छन् भनेर पत्ता लगाउनु उद्देश्य भएका ठाउँमा त्यो मानिसले मात्र दिन सक्छन्। त्यस्ता कोठामा मोडेल उत्तर दिनेभन्दा सोध्नेका रूपमा बढी उपयोगी हुन्छ: कार्डबारे एउटा प्रश्न, एक पटकमा एउटा र आफ्नो कुनै धारणाबिना (यो साँचो भए तपाईं के देख्नुहुन्थ्यो? बीचमा के हुन्छ?), ले लेखकलाई मोडेलका शब्द उसको मुखमा नहाली कारण स्पष्ट पार्न मद्दत गर्छ।

सीमाहरू

एउटा प्रश्न, आवास; 120 कडी; हरेक मोडेलका चार वा पाँच पात्र, हरेकले एक पटक उत्तर दिएको। यो ढाँचाले देख्न सक्नेभन्दा साना प्रभाव देखिँदैनन्। पात्रहरू भूमिकाको वर्णनका रूपमा लेखिएका थिए; तिनलाई ल्याउने अझ बलिया तरिका, जस्तै उत्तर दिनुअघि मोडेललाई पात्रकै रूपमा तर्क गर्न लगाउनु, ले यसलाई अझ धेरै सार्न सक्छ, व्यङ्ग्यचित्रको जोखिमसँगै (Cheng et al., 2023)। सूचनामूलकताले सत्य होइन, प्यानलसँगको सहमति नाप्छ, र विमर्शका निर्णायकका रूपमा प्रयोग गरिएका मोडेल मानिसहरूसँग अपेक्षाभन्दा कम सहमत हुन्छन् (Zhu et al., 2025): आफैँसँग सहमत हुने प्यानल पनि एउटै दिशामा गलत हुन सक्छ। सक्षम मोडेलबीचको भिन्नता सबै 870 कडीमा मात्र देखियो; 120 मा त्यो अदृश्य थियो, त्यसैले साना भिन्नता अझै नदेखिएका हुन सक्छन्, र आवासभन्दा बढी विवादित प्रश्नले मोडेललाई अझ धेरै बाँड्न सक्छ।

सन्दर्भ सामग्री

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

एउटा प्रश्न अपनाउनुहोस् → · थप टिप्पणीहरू