नोट्स · मॉडल पैनल

मॉडल को बताइए वह कौन है। उसके कारण-फ़ैसले मुश्किल से बदलते हैं।

अक्टूबर 2026

True Causes पर भाषा मॉडलों के कमरे हर मॉडल को एक किरदार देते हैं: किराए पर रहती नर्स, रिटायर मकान-मालिक, छोटा डेवलपर। सोच यह है कि अलग-अलग लोग अलग-अलग कारण देखते हैं, और उन्हें निभाता मॉडलों का पैनल भी देखेगा। बताया गया मॉडल उस व्यक्ति की तरह जवाब देता है या नहीं, यह जाना-पहचाना सवाल है (Argyle et al., 2023); हमने इसे कारण-फ़ैसलों पर परखा।

परखने में नहीं देता। 21 मॉडलों और 14 किरदारों के आर-पार, मॉडल को दिया गया किरदार यह बात इतनी भी नहीं बदल पाया जितनी हम माप सकें कि उसने कौन-सी कारण-कड़ियाँ स्वीकार कीं। कौन-सा मॉडल था, इसने बहुत कुछ बदला।

अध्ययन

हमने आवास की पहुँच पर एक सार्वजनिक-अभिलेख कमरे से 120 कड़ियाँ लीं — ऐसे चुनी हुईं कि जो कड़ियाँ कमरे ने प्रमाणित कीं, नकारीं और तय नहीं कर पाया, वे बराबर हों। 21 में से हर मॉडल ने हर कड़ी का जवाब दिया — एक बार खुद के रूप में और चार-पाँच बार अलग किरदार के रूप में: आवास के बारह किरदार (किराएदार और मालिक, एक मकान-मालिक, एक योजनाकार, एक डेवलपर, एक किराएदार-संगठक, एक निर्माण-मज़दूर और अन्य), और दो जुड़वाँ — एक ही व्यक्ति, बस एक तथ्य अलग: मालिक की जगह किराएदार। हर किरदार सात मॉडलों ने निभाया। यानी 119 सीटें और 14,220 जवाब, हर सीट हर कड़ी का जवाब देती हुई, तो कोई जवाब दूसरे पर नहीं टिका।

जवाब किसने तय किए

कुल फ़र्क का करीब आधा (52%) खुद कड़ी समझाती है: मॉडल बड़े पैमाने पर सहमत हैं कि कौन-सी कड़ियाँ जँचती हैं। खास कड़ियों की मॉडल की अपनी पढ़त एक और चौथाई (24%) समझाती है, किरदार जो भी हो। हाँ कहने की मॉडल की सामान्य प्रवृत्ति 3% और जोड़ती है।

किरदार ने कुछ नहीं जोड़ा। किन कड़ियों को हाँ मिली, इसके फ़र्क में उसका हिस्सा 0.000 था; हाँ की ओर सामान्य झुकाव में 0.002। एक परीक्षण, जो सीट के जवाबों से किरदार पहचानने की कोशिश करता है — उन मॉडलों पर जिनमें वह देखा नहीं गया — संयोग से बेहतर नहीं निकला (7.1% के मुकाबले 6.1%)। और सीटें उस दिशा में नहीं हिलीं जो उनके किरदार के लक्षण बताते: सहसंबंध शून्य था। जब किरदार ने कोई जवाब बदला — मॉडल के हिसाब से 1% से 15% कड़ियों पर — तो बेतरतीब बदला।

यह दूसरों की खोज से मेल खाता है। एनोटेशन के कामों में किरदार-चर फ़र्क का थोड़ा-सा ही हिस्सा समझाते हैं (Hu & Collier, 2024), और सिस्टम प्रॉम्प्ट में लिखी भूमिका मॉडल के जवाब लगातार नहीं बदलती (Zheng et al., 2024)। कारण का सवाल मॉडल को दुनिया के बारे में सवाल पढ़ाता है, पूछने वाले के बारे में नहीं।

किरदारों ने क्या बदला: जवाब कौन देता है

किरदारों ने मॉडलों से “कह नहीं सकता” ज़्यादा बार कहलवाया — खुद के रूप में 19% के मुकाबले 26% — और बराबर नहीं। जवान, कम आय वाले, किराए पर रहते, वाम-झुकाव वाले और गैर-अमेरिकी किरदार ज़्यादा कतराए, 14 अंकों तक; बड़ी उम्र के, दक्षिण-झुकाव वाले, मकान-मालिक, ऊँची आय वाले और मालिक किरदार कम, 13 अंकों तक। मॉडलों ने निचली हैसियत के किरदारों को अपने जानने पर कम भरोसे वाला खेला। किरदार-प्रॉम्प्ट ऐसे रूढ़-चित्र तर्क में ले आते हैं, यह ज्ञात है (Gupta et al., 2024)। कुछ मॉडलों ने किरदार के साथ कहीं ज़्यादा इनकार किया: Gemini 3.5 Flash ने किरदार के रूप में 59% कड़ियों को “कह नहीं सकता” कहा और खुद के रूप में किसी को नहीं।

कौन-से मॉडल अच्छा परखते हैं

चार्ट हर मॉडल को इस हिसाब से रखते हैं कि वह कितनी बार हाँ कहता है (आड़ा) और उसके जवाब कितने जानकारी-भरे हैं (खड़ा)। जानकारी-स्तर सही जवाब जाने बिना, मॉडलों की आपसी सहमति से आँका गया है (Dawid & Skene, 1979): 1 पूरी तरह संगत परखने वाला है, 0 ऐसा जवाब जिसमें कोई संकेत नहीं। यह पैनल की कुल खोज से सहमति मापता है, सहीपन नहीं, इसलिए कमज़ोर मॉडलों से असहमत कोई मज़बूत मॉडल अपनी हक़ीक़त से नीचे अंक पा सकता है।

ज़्यादातर मॉडल भेद करते हैं: वे चौथाई से दो-तिहाई कड़ियों को हाँ कहते हैं, और उनके जवाबों में संकेत है। Claude Sonnet 5.5 और DeepSeek V4 Flash पैनल से सबसे ज़्यादा सहमत हैं। Gemma 3 4B और Command R7B जैसे छोटे मॉडल कम ढोते हैं। Schematron — दावों को परखने नहीं, डेटा निकालने के लिए बना मॉडल — लगभग हर चीज़ को “कह नहीं सकता” कहता रहा, और जो जवाब उसने दिए उनमें संकेत न के बराबर है।

क्या मॉडलों की अपनी राय है?

अगर किरदार जवाबों को आकार नहीं देते, तो शायद मॉडल खुद समस्या के अलग-अलग सिद्धांत रखते हों — एक नियमों को दोष दे, दूसरा सट्टे को। फ़र्क का एक चौथाई हिस्सा मॉडलों का एक ही कड़ी को अलग-अलग पढ़ना था, तो हमने उस फ़र्क की दिशाएँ ढूँढ़ीं: एक मॉडल जो हर मॉडल और हर कड़ी को, मॉडलों के खुद के रूप में दिए जवाबों से, कुछ आयामों पर रखता है। आयाम तभी गिना जाता है जब वह स्थिर हो — यानी कड़ियों के दो आधों पर अलग-अलग बिठाने पर मॉडल लगभग उन्हीं जगहों पर उतरें।

एक आयाम स्थिर निकला, और वह कोई सिद्धांत नहीं था। एक सिरे पर वे कड़ियाँ थीं जो मुश्किल से कोई मतलब रखती हैं — जैसे “विदेशी निवेशकों के खरीदे महँगे फ़्लैट” से “अमेरिका हर साल 6 से 12 लाख आप्रवासी जोड़ता है” — जिन्हें कमज़ोर मॉडलों ने स्वीकार किया। दूसरे सिरे पर एक सुसंगत तंत्र था — निवासियों के वोट और पुराने हितधारकों के हित आपूर्ति को सीमित रखते हुए — जिसे सभी मज़बूत मॉडलों ने स्वीकार किया। आयाम यह है कि मॉडल कितना अच्छा परखता है: मज़बूत मॉडल पास-पास बैठते हैं, और हर कमज़ोर मॉडल उनसे अपने ही ढंग से भटकता है।

ग्यारह मज़बूत मॉडलों के बीच, अध्ययन की 120 कड़ियों पर बिठाने से, कुछ स्थिर नहीं निकला। कड़ियाँ बहुत कम थीं। कमरे की सभी 870 कड़ियों पर — उन्हीं ग्यारह मॉडलों के खुद के रूप में दिए जवाबों से — एक फ़र्क उभरा, और वह स्थिर है: कड़ियों के दो आधों पर अलग-अलग बिठाने पर मॉडल लगभग उन्हीं जगहों पर उतरते हैं (0.89)।

एक सिरे पर मॉडल लोगों के हितों से राजनीतिक फ़ैसलों तक की कड़ियाँ स्वीकारते हैं: बढ़ती कीमतों में मकान-मालिकों की हिस्सेदारी से सरकार के आपूर्ति-विरोधी बदलाव, निवासियों के वोटों से Proposition 13। वहाँ Gemini 3.5 Flash, Claude Sonnet 5.5, Nex और DeepSeek बैठे हैं। दूसरे सिरे पर मॉडल बाधाओं से आपूर्ति-तंत्र में जाती कड़ियाँ स्वीकारते हैं: नियम-कायदे, पुराने हितधारकों के हित, सस्ते फ़्लैटों को नकारती परिषदें और संपत्ति-अधिकार, हर एक “ज़्यादा मकान कीमतें घटाते हैं” तक। वहाँ Mistral Small, Ministral 8B, Laguna और Qwen हैं। मोटे तौर पर, एक पक्ष आवास को इस तरह समझाता है कि राजनीतिक फ़ायदा किसे है, दूसरा इस तरह कि आपूर्ति को क्या रोकता है। यह पढ़त हमारी है, हर सिरे की कड़ियों से। दूसरा आयाम दोनों GPT-OSS मॉडलों को एक सिरे पर रखता है, पर उसकी कड़ियों में कोई ऐसा सूत्र नहीं जिसे हम नाम दे सकें।

फ़र्क का हिसाब मेल खाता है। ग्यारह मज़बूत मॉडलों में खुद कड़ी 68% समझाती है — सभी 21 के साथ 52% के मुकाबले — और मॉडल-विशेष पढ़तें 24% से 8% पर आ जाती हैं: जो अलग-अलग पढ़तें दिखती थीं, उनका करीब दो-तिहाई कमज़ोर मॉडलों से आया था। बाकी छोटा है, पर वही ऊपर का संगत फ़र्क है।

True Causes के लिए इसका मतलब

मॉडलों का पैनल परख देता है, नज़रियों का दायरा तंग है। किरदार कोई नज़रिया नहीं जोड़ते। सक्षम मॉडल ज़्यादातर कड़ियों पर सहमत हैं, और बाकी पर एक संगत रेखा के साथ अलग होते हैं — राजनीतिक और आपूर्ति की व्याख्याओं के बीच। वह एक दायरा है, पर तंग, मॉडलों की ट्रेनिंग का तय किया हुआ: वह दायरा नहीं जो अलग-अलग अनुभव वाले लोग लाते। विचार-विमर्श का सार लिखने वाले मॉडलों का शोध इसी ओर इशारा करता है: सार अल्पमत की स्थितियों को कम दिखाते हैं, 18 मॉडलों के आर-पार (Zhu et al., 2025), और सहमति खोजने के लिए लिखे कथन अपने लहजे से भी सहमति जीत सकते हैं, सामग्री से ज़्यादा (Tsai et al., 2024)। True Causes पर मॉडल किसी कमरे की ओर से नहीं बोलता। वह अकेली कड़ियाँ लिखता या परखता है, हर फ़ैसला गिना जाता है, और बँटवारा नक्शे पर बँटे के रूप में रहता है।

पैनल चुनना पहले गुणवत्ता की बात है, फिर संतुलन की। मॉडलों के बीच सबसे बड़ा फ़र्क यह है कि वे कितना अच्छा परखते हैं, तो पैनल सक्षम मॉडलों का हो, कमज़ोर बाहर रहें। सक्षम मॉडलों में परिवार अलग-अलग दिशा में झुकते हैं, तो पैनल कई परिवारों से बने, और कोई एक परिवार बाकियों पर भारी न पड़े।

मॉडलों की सीट से पहले छानबीन हो। जो मॉडल हर चीज़ को हाँ, हर चीज़ को नहीं या हर चीज़ को “कह नहीं सकता” कहता है, वह हर परखी जोड़ी में शोर जोड़ता है। ज्ञात कड़ियों पर छोटा-सा अंशांकन उन्हें पकड़ लेता है।

परखने में किरदार न इस्तेमाल हों। वे परहेज़ और हैसियत का रूढ़-चित्र जोड़ते हैं, और परख की कोई विविधता नहीं। लिखना अलग सवाल है। किरदारों वाले मॉडलों का कमरा विविध कार्ड लिखता है, पर अलग-अलग मॉडल अलग लिखते हैं, और एक ही मॉडल हर बार पूछने पर अलग लिखता है — तो अकेले विविध कार्ड यह नहीं दिखाते कि किरदारों ने कुछ किया। परीक्षा वही है जो यहाँ परखने के लिए ली गई: वही मॉडल किरदार के साथ और बिना कारण लिखें, और हर एक के अलग-अलग कारणों की गिनती हो।

लोगों के कमरे अलग हैं। व्यक्ति वह लाता है जो उसने देखा है, उसका विवरण नहीं जिसने देखा होता। यह अध्ययन उसके खिलाफ़ कुछ नहीं कहता; वह कहता है कि जिस मॉडल को बताया गया कि वह किराएदार है, वह किराएदार की तरह जिया नहीं है। जहाँ मकसद यह जानना हो कि लोग किस पर असहमत हैं, वह सिर्फ़ लोग देते हैं। उन कमरों में मॉडल जवाब देने से ज़्यादा पूछने में काम का है: कार्ड पर एक-एक सवाल, अपनी कोई राय रखे बिना (यह सच होता तो आपको क्या दिखता? बीच में क्या होता है?), लेखक को कारण साफ़ करने में मदद करता है — मॉडल के शब्द उसके मुँह में डाले बिना।

सीमाएँ

एक सवाल, आवास; 120 कड़ियाँ; हर मॉडल के चार-पाँच किरदार, हर एक एक बार जवाब देता हुआ। जो असर इस डिज़ाइन की नज़र से छोटे हैं, वे नहीं दिखते। किरदार भूमिका-विवरण के रूप में लिखे गए; उन्हें जगाने के कड़े तरीक़े — जैसे मॉडल से जवाब से पहले किरदार में रहकर तर्क करवाना — उसे और हिला सकते हैं, साथ में काल्पनिक खाके का जोखिम (Cheng et al., 2023)। जानकारी-स्तर पैनल से सहमति मापता है, सच नहीं, और विचार-विमर्श के परखैया बने मॉडल लोगों से उतना सहमत नहीं होते जितनी उम्मीद हो (Zhu et al., 2025): खुद से सहमत पैनल फिर भी एक ही दिशा में गलत हो सकता है। सक्षम मॉडलों का फ़र्क सिर्फ़ सभी 870 कड़ियों पर उभरा; 120 पर वह अदृश्य था, तो उससे छोटे फ़र्क अब भी छूट सकते हैं, और आवास से ज़्यादा विवादित सवाल मॉडलों को और बाँट सकता है।

संदर्भ

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

कोई सवाल उठाएँ → · और नोट्स