टिपा · मॉडेल पॅनेल

मॉडेलला ते कोण आहे ते सांगा. त्याचे कार्यकारण निर्णय फारसे बदलत नाहीत.

ऑक्टोबर 2026

True Causes वरील भाषा मॉडेलच्या खोल्या प्रत्येक मॉडेलला एक व्यक्तिरेखा देतात: भाड्याने राहणारी परिचारिका, निवृत्त घरमालक, छोटा विकासक. कल्पना अशी की वेगवेगळ्या लोकांना वेगवेगळी कारणे दिसतात, आणि त्यांची भूमिका करणाऱ्या मॉडेलच्या पॅनेललाही दिसतील. ते कोण आहे हे सांगितलेले मॉडेल त्या व्यक्तीसारखे उत्तर देते का हा ज्ञात प्रश्न आहे (Argyle et al., 2023); आम्ही तो कार्यकारण निर्णयांवर तपासला.

निर्णय देताना ते तसे करत नाही. 21 मॉडेल आणि 14 व्यक्तिरेखांमध्ये, मॉडेलला दिलेल्या व्यक्तिरेखेने ते कोणते कार्यकारण दुवे स्वीकारते यात आम्हाला मोजता येईल असा कोणताही बदल केला नाही. ते कोणते मॉडेल होते याने मात्र खूप फरक पडला.

अभ्यास

आम्ही घरांच्या परवडण्याबद्दलच्या एका सार्वजनिक-नोंद खोलीतून 120 दुवे घेतले, असे निवडलेले की खोलीने प्रमाणित केलेले, नाकारलेले आणि ठरवू न शकलेले दुवे समान प्रमाणात असतील. 21 पैकी प्रत्येक मॉडेलने प्रत्येक दुव्याचे उत्तर दिले, एकदा स्वतः म्हणून आणि चार किंवा पाच वेळा वेगळ्या व्यक्तिरेखेत: घरांशी संबंधित बारा व्यक्तिरेखा (भाडेकरू आणि मालक, घरमालक, नियोजक, विकासक, भाडेकरूंचा संघटक, बांधकाम मजूर आणि इतर), आणि दोन जुळे, एकाच तथ्याखेरीज एकच व्यक्ती, मालकीऐवजी भाड्याने राहणारी. प्रत्येक व्यक्तिरेखा सात मॉडेलनी साकारली. म्हणजे 119 जागा आणि 14,220 उत्तरे, प्रत्येक जागेने प्रत्येक दुव्याचे उत्तर दिले, म्हणून कोणतेही उत्तर दुसऱ्यावर अवलंबून नव्हते.

उत्तरे कशाने ठरली

सर्व फरकांपैकी सुमारे निम्मा (52%) दुवाच स्पष्ट करतो: कोणते दुवे पटण्याजोगे आहेत यावर मॉडेल बहुतांशी सहमत असतात. विशिष्ट दुव्यांचे मॉडेलचे स्वतःचे वाचन आणखी एक चतुर्थांश (24%) स्पष्ट करते, ते कोणतीही व्यक्तिरेखा साकारो. मॉडेलची होय म्हणण्याची सर्वसाधारण प्रवृत्ती 3% भर घालते.

व्यक्तिरेखेने काहीच भर घातली नाही. कोणत्या दुव्यांना होय मिळाले यातील फरकात तिचा वाटा 0.000 होता; होयकडे सर्वसाधारण झुकण्यात तिचा वाटा, 0.002. जागेच्या उत्तरांवरून, ती ज्या मॉडेलमध्ये दिसली नव्हती अशा मॉडेलद्वारे, व्यक्तिरेखा ओळखण्याचा प्रयत्न करणारी चाचणी योगायोगापेक्षा चांगली ठरली नाही (6.1%, तर योगायोगाने 7.1%). आणि जागा त्यांच्या व्यक्तिरेखेच्या वैशिष्ट्यांवरून अपेक्षित दिशेने हलल्या नाहीत: सहसंबंध शून्य होता. व्यक्तिरेखेने उत्तर बदलले तेव्हा, मॉडेलनुसार 1% ते 15% दुव्यांवर, ते यादृच्छिकपणे बदलले.

इतरांना जे आढळले त्याच्याशी हे जुळते. भाष्य-कार्यांमधील फरकाचा फारच थोडा भाग व्यक्तिरेखेतील घटक स्पष्ट करतात (Hu & Collier, 2024), आणि सिस्टम प्रॉम्प्टमध्ये नाव दिलेली भूमिका मॉडेलची उत्तरे सातत्याने बदलत नाही (Zheng et al., 2024). मॉडेलला कार्यकारण प्रश्न जगाबद्दलचा प्रश्न वाटतो, विचारणाऱ्या व्यक्तीबद्दलचा नाही.

व्यक्तिरेखांनी काय बदलले: उत्तर कोण देते

व्यक्तिरेखांमुळे मॉडेल जास्त वेळा “सांगता येत नाही” म्हणाली, स्वतः म्हणून 19% च्या तुलनेत 26% वेळा, आणि हे समान प्रमाणात नव्हते. तरुण, कमी उत्पन्नाच्या, भाड्याने राहणाऱ्या, डावीकडे झुकलेल्या आणि अमेरिकेबाहेरच्या व्यक्तिरेखा 14 अंकांपर्यंत जास्त तटस्थ राहिल्या; वयस्कर, उजवीकडे झुकलेल्या, घरमालक, जास्त उत्पन्नाच्या आणि मालक व्यक्तिरेखा 13 अंकांपर्यंत कमी. मॉडेलनी कमी दर्जाच्या व्यक्तिरेखांना आपल्या माहितीबद्दल कमी खात्री असलेल्या म्हणून साकारले. व्यक्तिरेखा-प्रॉम्प्ट असे साचेबद्ध समज विचारात आणतात हे ज्ञात आहे (Gupta et al., 2024). काही मॉडेलनी व्यक्तिरेखेसह खूपच जास्त नकार दिला: Gemini 3.5 Flash व्यक्तिरेखा म्हणून 59% दुव्यांना “सांगता येत नाही” म्हणाले आणि स्वतः म्हणून एकालाही नाही.

कोणती मॉडेल चांगले निर्णय देतात

तक्ते प्रत्येक मॉडेलला ते किती वेळा होय म्हणते (आडवे) आणि त्याची उत्तरे किती माहितीपूर्ण आहेत (उभे) यानुसार ठेवतात. माहितीपूर्णता बरोबर उत्तरे माहीत नसताना, मॉडेल एकमेकांशी कशी सहमत होतात त्यावरून अंदाजली जाते (Dawid & Skene, 1979): 1 म्हणजे पूर्णपणे सुसंगत निर्णायक, 0 म्हणजे कोणताही संकेत नसलेले उत्तर. ती संपूर्ण पॅनेलला जे आढळते त्याच्याशी सहमती मोजते, बरोबरपणा नव्हे, म्हणून कमकुवत मॉडेलशी असहमत असलेल्या भक्कम मॉडेलला त्याच्या पात्रतेपेक्षा कमी गुण मिळू शकतात.

बहुतेक मॉडेल भेद करतात: ती एक चतुर्थांश ते दोन तृतीयांश दुव्यांना होय म्हणतात, आणि त्यांच्या उत्तरांत संकेत असतो. Claude Sonnet 5.5 आणि DeepSeek V4 Flash पॅनेलशी सर्वात जास्त सहमत असतात. Gemma 3 4B आणि Command R7B सारख्या लहान मॉडेलमध्ये कमी संकेत असतो. Schematron, दाव्यांवर निर्णय देण्यासाठी नव्हे तर डेटा काढण्यासाठी बनवलेले मॉडेल, जवळजवळ सगळ्याला “सांगता येत नाही” म्हणाले, आणि त्याने जे उत्तर दिले त्यात जवळजवळ कोणताही संकेत नाही.

मॉडेलची स्वतःची मते असतात का?

व्यक्तिरेखा उत्तरांना आकार देत नसतील, तर कदाचित मॉडेलच समस्येचे वेगवेगळे सिद्धांत धरून असतील, एक नियमनाला दोष देणारे, दुसरे सट्टेबाजीला. फरकाचा एक चतुर्थांश भाग म्हणजे मॉडेल तोच दुवा वेगवेगळ्या प्रकारे वाचत होती, म्हणून आम्ही त्या फरकाच्या दिशा शोधल्या: मॉडेलच्या स्वतः म्हणून दिलेल्या उत्तरांवरून प्रत्येक मॉडेल आणि प्रत्येक दुवा काही मितींवर ठेवणारे प्रारूप. एखादी मिती स्थिर असेल तरच ती मोजली जाते, म्हणजे दुव्यांच्या दोन अर्ध्या भागांवर स्वतंत्रपणे बसवल्यावर ती मॉडेलना जवळजवळ त्याच ठिकाणी ठेवत असेल तर.

एक मिती स्थिर होती, आणि ती सिद्धांत नव्हती. एका टोकाला जेमतेम अर्थ असलेले दुवे होते, जसे “परदेशी गुंतवणूकदारांनी विकत घेतलेले आलिशान फ्लॅट” यामुळे “अमेरिकेत दरवर्षी 6 ते 12 लाख स्थलांतरितांची भर पडते”, जे कमकुवत मॉडेलनी स्वीकारले. दुसऱ्या टोकाला एक सुसंगत यंत्रणा होती, रहिवाशांची मते आणि आधीपासून असलेल्यांचे हितसंबंध पुरवठा मर्यादित ठेवतात, जी सर्व भक्कम मॉडेलनी स्वीकारली. ती मिती म्हणजे मॉडेल किती चांगले निर्णय देते: भक्कम मॉडेल एकमेकांच्या जवळ बसतात, आणि प्रत्येक कमकुवत मॉडेल त्यांच्यापासून आपापल्या मार्गाने दूर जाते.

अकरा भक्कम मॉडेलमध्ये, अभ्यासाच्या 120 दुव्यांवर बसवल्यावर, काहीच स्थिर नव्हते. ते खूप कमी दुवे होते. खोलीच्या सर्व 870 दुव्यांवर बसवल्यावर, त्याच अकरा मॉडेलनी स्वतः म्हणून उत्तरे दिलेल्या, एक फरक दिसला, आणि तो स्थिर आहे: दुव्यांच्या दोन अर्ध्या भागांवर स्वतंत्रपणे बसवल्यावर मॉडेल जवळजवळ त्याच ठिकाणी येतात (0.89).

एका टोकाला, मॉडेल लोकांच्या हितसंबंधांपासून राजकीय निर्णयांकडे जाणारे दुवे स्वीकारतात: वाढत्या किमतींतील घरमालकांचे हितसंबंध सरकारच्या पुरवठाविरोधी बदलांकडे नेतात, रहिवाशांची मते Proposition 13 कडे नेतात. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex आणि DeepSeek तिथे बसतात. दुसऱ्या टोकाला, मॉडेल अडथळ्यांपासून पुरवठा-यंत्रणेकडे जाणारे दुवे स्वीकारतात: नियमन, आधीपासून असलेल्यांचे हितसंबंध, स्वस्त फ्लॅट नाकारणाऱ्या परिषदा आणि मालमत्ता हक्क, प्रत्येक “अधिक घरे किमती कमी करतात” याकडे नेणारा. Mistral Small, Ministral 8B, Laguna आणि Qwen तिथे बसतात. ढोबळपणे, एक बाजू घरांचा प्रश्न राजकीयदृष्ट्या कोणाला फायदा होतो यातून स्पष्ट करते, दुसरी पुरवठा कशाने अडतो यातून. हे वाचन आमचे आहे, प्रत्येक टोकावरच्या दुव्यांवरून. दुसरी मिती दोन्ही GPT-OSS मॉडेलना एका टोकाला ठेवते, पण तिच्या दुव्यांमध्ये आम्हाला नाव देता येईल असा कोणताही समान विषय नाही.

फरकाचे आकडेही हेच सांगतात. अकरा भक्कम मॉडेलमध्ये, दुवाच त्याचा 68% भाग स्पष्ट करतो, सर्व 21 मॉडेलसह 52% च्या तुलनेत, आणि मॉडेल-विशिष्ट वाचने 24% वरून 8% वर येतात: वेगवेगळी वाचने वाटणाऱ्यांपैकी सुमारे दोन तृतीयांश कमकुवत मॉडेलकडून आली. उरलेला भाग लहान आहे, पण तो वरचा सुसंगत फरक आहे.

True Causes साठी याचा अर्थ

मॉडेलचे पॅनेल निर्णयक्षमता देते, मतांच्या अरुंद पल्ल्यासह. व्यक्तिरेखा कोणतेही दृष्टिकोन जोडत नाहीत. सक्षम मॉडेल बहुतेक दुव्यांवर सहमत असतात, आणि उरलेल्यांवर सातत्याने, राजकीय आणि पुरवठा स्पष्टीकरणांमधील रेषेवर, वेगळी पडतात. तो एक पल्ला आहे, पण अरुंद, मॉडेलना कसे प्रशिक्षित केले यावरून ठरलेला: वेगवेगळा अनुभव असलेले लोक जो मतांचा पल्ला आणतील तो नव्हे. विचारमंथनाचा सारांश देणाऱ्या मॉडेलवरील संशोधनही याच दिशेने निर्देश करते: 18 मॉडेलमध्ये सारांश अल्पसंख्याकांच्या भूमिकांना कमी प्रतिनिधित्व देतात (Zhu et al., 2025), आणि सहमती शोधण्यासाठी लिहिलेली विधाने आशयापेक्षा त्यांच्या स्वरामुळे सहमती मिळवू शकतात (Tsai et al., 2024). True Causes वर मॉडेल खोलीच्या वतीने बोलत नाही. ते एकेक दुवा लिहिते किंवा त्यावर निर्णय देते, प्रत्येक निर्णय मोजला जातो, आणि विभागलेले मत नकाशावर विभागलेले म्हणूनच राहते.

पॅनेल निवडताना आधी दर्जा, मग संतुलन. मॉडेलमधील सर्वात मोठा फरक म्हणजे ती किती चांगले निर्णय देतात, म्हणून पॅनेलमध्ये सक्षम मॉडेल असावीत, कमकुवत मॉडेल वगळून. सक्षम मॉडेलमध्ये कुटुंबे वेगवेगळ्या दिशांना झुकतात, म्हणून पॅनेलने अनेक कुटुंबांमधून घ्यावे, आणि कोणतेही एक कुटुंब बाकीच्यांपेक्षा संख्येने जास्त नसावे.

बसवण्यापूर्वी मॉडेलची चाळणी करायला हवी. सगळ्याला होय, सगळ्याला नाही किंवा सगळ्याला “सांगता येत नाही” म्हणणारे मॉडेल ते निर्णय देत असलेल्या प्रत्येक जोडीत गोंगाट वाढवते. माहीत असलेल्या दुव्यांवरचे छोटे अंशांकन अशा मॉडेलना शोधते.

निर्णयासाठी व्यक्तिरेखा वापरू नयेत. त्या तटस्थ उत्तरे आणि दर्जाविषयीचा साचेबद्ध समज जोडतात, आणि निर्णयांत कोणतीही विविधता नाही. लिहिणे हा वेगळा प्रश्न आहे. व्यक्तिरेखा असलेल्या मॉडेल्सची खोली वैविध्यपूर्ण कार्डे लिहिते, पण वेगवेगळी मॉडेल वेगवेगळ्या प्रकारे लिहितात, आणि एकच मॉडेल प्रत्येक वेळी विचारल्यावर वेगळे लिहिते, म्हणून फक्त वैविध्यपूर्ण कार्डांवरून व्यक्तिरेखांनी काही केले असे दिसत नाही. चाचणी तीच जी इथे निर्णयासाठी वापरली: तीच मॉडेल व्यक्तिरेखेसह आणि त्याशिवाय कारणे लिहितात, आणि प्रत्येक जण निर्माण करत असलेली वेगळी कारणे मोजली जातात.

लोकांच्या खोल्या वेगळ्या असतात. व्यक्ती तिने पाहिलेले आणते, ते पाहिले असू शकेल अशा कोणाचे वर्णन नव्हे. हा अभ्यास त्याविरुद्ध काहीच सांगत नाही; तो सांगतो की ते भाडेकरू आहे असे सांगितलेले मॉडेल भाडेकरू म्हणून जगलेले नाही. लोक कशावर असहमत आहेत हे शोधणे हाच हेतू असेल तिथे फक्त लोकच ते देऊ शकतात. अशा खोल्यांमध्ये मॉडेल उत्तर देण्यापेक्षा विचारण्यात जास्त उपयोगी असते: कार्डाबद्दलचा प्रश्न, एका वेळी एक आणि स्वतःचे कोणतेही मत न ठेवता (हे खरे असते तर तुम्हाला काय दिसले असते? मधे काय घडते?), लेखकाला कारण स्पष्ट करायला मदत करतो, मॉडेलचे शब्द त्याच्या तोंडी न घालता.

मर्यादा

एक प्रश्न, घरे; 120 दुवे; प्रत्येक मॉडेलसाठी चार किंवा पाच व्यक्तिरेखा, प्रत्येकीने एकदाच उत्तर दिलेले. या रचनेला दिसू शकतील त्यापेक्षा लहान परिणाम दिसणार नाहीत. व्यक्तिरेखा भूमिकेची वर्णने म्हणून लिहिल्या होत्या; त्या रुजवण्याचे अधिक प्रभावी मार्ग, जसे उत्तर देण्यापूर्वी मॉडेलला व्यक्तिरेखेत राहून विचार करायला सांगणे, त्याला आणखी हलवू शकतात, आणि त्यासोबत व्यंगचित्राचा धोकाही (Cheng et al., 2023). माहितीपूर्णता पॅनेलशी सहमती मोजते, सत्य नव्हे, आणि विचारमंथनाचे परीक्षक म्हणून वापरलेली मॉडेल लोकांशी अपेक्षेपेक्षा कमी सहमत होतात (Zhu et al., 2025): स्वतःशी सहमत असलेले पॅनेलही एकाच दिशेने चुकीचे असू शकते. सक्षम मॉडेलमधील फरक फक्त सर्व 870 दुव्यांसह दिसला; 120 सह तो अदृश्य होता, म्हणून लहान फरक अजूनही न दिसता राहू शकतात, आणि घरांपेक्षा अधिक वादग्रस्त प्रश्न मॉडेलना आणखी विभागू शकतो.

संदर्भ

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

प्रश्न हाती घ्या → · आणखी टिपा