نوٹس · ماڈل پینل

ماڈل کو بتائیں وہ کون ہے۔ اس کے سببی فیصلے بمشکل بدلتے ہیں۔

اکتوبر 2026

True Causes پر لینگویج ماڈلوں کے کمرے ہر ماڈل کو ایک کردار دیتے ہیں: کرائے پر رہنے والی نرس، ریٹائرڈ مالکِ مکان، چھوٹا ڈیویلپر۔ خیال یہ ہے کہ الگ الگ لوگ الگ الگ وجوہات دیکھتے ہیں، اور انہیں نبھاتے ماڈلوں کا پینل بھی دیکھے گا۔ آیا جس ماڈل کو بتایا جائے کہ وہ کون ہے وہ اسی شخص کی طرح جواب دیتا ہے، یہ ایک جانا پہچانا سوال ہے (Argyle وغیرہ، 2023)؛ ہم نے اسے سببی فیصلوں پر آزمایا۔

پرکھنے میں وہ ایسا نہیں کرتا۔ 21 ماڈلوں اور 14 کرداروں کے آر پار، ماڈل کو دیے گئے کردار نے یہ کہ وہ کون سے سببی روابط قبول کرتا ہے، اتنا بھی نہیں بدلا جتنا ہم ناپ سکتے۔ یہ کہ وہ کون سا ماڈل تھا، بہت کچھ بدلتا رہا۔

مطالعہ

ہم نے رہائش کی استطاعت پر ایک عوامی ریکارڈ کمرے سے 120 روابط لیے، یوں چنے ہوئے کہ جن روابط کی کمرے نے تصدیق کی، جنہیں مسترد کیا اور جنہیں طے نہ کر سکا، سب برابر نمائندہ ہوں۔ 21 میں سے ہر ماڈل نے ہر ربط کا جواب دیا، ایک بار اپنی حیثیت میں اور چار یا پانچ بار کسی اور کردار میں: رہائش کے بارہ کردار (کرائے دار اور مالک، ایک زمیندار، ایک منصوبہ ساز، ایک ڈیویلپر، کرائے داروں کا منتظم، تعمیراتی مزدور اور دیگر)، اور دو جڑواں، ایک ہی شخص سوائے ایک حقیقت کے — مالک ہونے کے بجائے کرائے پر رہنا۔ ہر کردار سات ماڈلوں نے نبھایا۔ یہ 119 نشستیں اور 14,220 جواب بنتے ہیں، ہر نشست ہر ربط کا جواب دیتی ہوئی، تو کوئی جواب دوسرے پر منحصر نہ تھا۔

جوابوں کا فیصلہ کس چیز نے کیا

خود ربط کل تغیر کا تقریباً آدھا (52%) سمجھاتا ہے: ماڈل بڑی حد تک متفق ہیں کہ کون سے روابط قرینِ قیاس ہیں۔ مخصوص روابط کی ماڈل کی اپنی پڑھت مزید چوتھائی (24%) سمجھاتی ہے، وہ جو بھی کردار نبھائے۔ ماڈل کا ہاں کہنے کا عمومی رجحان 3% جوڑتا ہے۔

کردار نے کچھ نہیں جوڑا۔ کن روابط کو ہاں ملی، اس کے تغیر میں اس کا حصہ 0.000 تھا؛ ہاں کی طرف عمومی جھکاؤ میں اس کا حصہ 0.002۔ ایک ٹیسٹ جو نشست کے جوابوں سے کردار پہچاننے کی کوشش کرتا ہے، ان ماڈلوں کے ذریعے جن میں وہ دیکھا نہیں گیا، اتفاق سے بہتر نہ رہا (7.1% کے مقابل 6.1%)۔ اور نشستیں اس سمت نہیں ہلیں جس کی ان کے کردار کی خصوصیات پیش گوئی کرتیں: تعلق صفر تھا۔ جب کسی کردار نے جواب بدلا — ماڈل کے لحاظ سے 1% تا 15% روابط پر — تو بے ترتیب بدلا۔

یہ دوسروں کی دریافتوں سے میل کھاتا ہے۔ کردار کے متغیرات تشریحی کاموں کے تغیر کا بہت کم سمجھاتے ہیں (Hu اور Collier، 2024)، اور سسٹم پرامپٹ میں دیا کردار ماڈل کے جوابوں کو مستقل انداز میں نہیں بدلتا (Zheng وغیرہ، 2024)۔ سببی سوال ماڈل کو دنیا کے بارے میں سوال پڑھا جاتا ہے، پوچھنے والے کے بارے میں نہیں۔

کرداروں نے کیا بدلا: جواب کون دیتا ہے

کرداروں نے ماڈلوں سے «نہیں کہہ سکتے» زیادہ بار کہلوایا، اپنی حیثیت میں 19% کے مقابل 26% بار، اور یکساں نہیں۔ نوجوان، کم آمدنی والے، کرائے پر رہنے والے، بائیں جھکاؤ والے اور غیر امریکی کرداروں نے زیادہ گریز کیا، 14 نکتوں تک؛ بڑی عمر کے، دائیں جھکاؤ والے، زمیندار، زیادہ آمدنی والے اور مالک کرداروں نے کم، 13 نکتوں تک۔ ماڈلوں نے کم حیثیت والے کرداروں کو اپنی معلومات پر کم پراعتماد کھیلا۔ معلوم ہے کہ کردار کے پرامپٹ ایسے تصوراتی سانچے استدلال میں لے آتے ہیں (Gupta وغیرہ، 2024)۔ کچھ ماڈلوں نے کردار کے ساتھ کہیں زیادہ انکار کیا: Gemini 3.5 Flash نے کردار کی حیثیت میں 59% روابط کو «نہیں کہہ سکتے» کہا اور اپنی حیثیت میں کسی کو نہیں۔

کون سے ماڈل اچھا پرکھتے ہیں

چارٹ ہر ماڈل کو اس سے جگہ دیتے ہیں کہ وہ کتنی بار ہاں کہتا ہے (افقی) اور اس کے جواب کتنے بامعنی ہیں (عمودی)۔ باخبری کا اندازہ درست جواب جانے بغیر، اس سے لگایا جاتا ہے کہ ماڈل ایک دوسرے سے کیسے متفق ہیں (Dawid اور Skene، 1979): 1 مکمل طور پر مستقل مزاج منصف ہے، 0 ایسا جواب جس میں کوئی اشارہ نہیں۔ یہ پورے پینل کی دریافت سے اتفاق ناپتا ہے، درستی نہیں، تو جو مضبوط ماڈل کمزوروں سے اختلاف کرے وہ اپنے استحقاق سے کم اسکور پا سکتا ہے۔

بیشتر ماڈل تمیز کرتے ہیں: وہ چوتھائی سے دو تہائی روابط کو ہاں کہتے ہیں، اور ان کے جوابوں میں اشارہ ہے۔ Claude Sonnet 5.5 اور DeepSeek V4 Flash پینل سے سب سے زیادہ متفق ہیں۔ چھوٹے ماڈل جیسے Gemma 3 4B اور Command R7B کم اشارہ رکھتے ہیں۔ Schematron، جو دعوے پرکھنے کے بجائے ڈیٹا نکالنے کے لیے بنا ماڈل ہے، تقریباً ہر چیز کو «نہیں کہہ سکتے» کہتا رہا، اور جو اس نے جواب دیا اس میں اشارہ نہ ہونے کے برابر ہے۔

کیا ماڈلوں کی اپنی کوئی رائے ہے؟

اگر کردار جوابوں کو شکل نہیں دیتے تو شاید خود ماڈل مسئلے کے الگ الگ نظریے رکھتے ہوں — ایک ریگولیشن کو قصوروار ٹھہرائے، دوسرا سٹے بازی کو۔ تغیر کا چوتھائی یہ تھا کہ ماڈل ایک ہی ربط کو الگ پڑھتے ہیں، تو ہم نے اس فرق کی سمتیں ڈھونڈیں: ایک ایسا ماڈل جو ہر ماڈل اور ہر ربط کو چند جہتوں پر رکھتا ہے، ماڈلوں کے اپنی حیثیت والے جوابوں سے۔ جہت صرف تب گنی جاتی ہے جب وہ مستحکم ہو، یعنی اسے روابط کے دو آدھوں پر الگ الگ بٹھانا ماڈلوں کو تقریباً انہی جگہوں پر رکھے۔

ایک جہت مستحکم تھی، اور وہ کوئی نظریہ نہ تھی۔ ایک سرے پر وہ روابط تھے جن کے بمشکل کوئی معنی بنتے ہیں، جیسے «غیر ملکی سرمایہ کاروں کے خریدے پرتعیش اپارٹمنٹ» کا «امریکہ ہر سال 6 لاکھ سے 12 لاکھ تارکینِ وطن جوڑتا ہے» تک لے جانا، جنہیں کمزور ماڈلوں نے قبول کیا۔ دوسرے سرے پر ایک جڑا ہوا میکانزم تھا — مکینوں کے ووٹ اور موجودہ مالکان کے مفادات کا رسد کو محدود رکھنا — جسے سب مضبوط ماڈلوں نے قبول کیا۔ یہ جہت یہ ہے کہ ماڈل کتنا اچھا پرکھتا ہے: مضبوط ماڈل قریب قریب بیٹھتے ہیں، اور ہر کمزور ماڈل اپنی اپنی راہ سے ان سے ہٹتا ہے۔

گیارہ مضبوط تر ماڈلوں میں، مطالعے کے 120 روابط پر بٹھانے سے، کچھ بھی مستحکم نہ تھا۔ روابط بہت کم تھے۔ کمرے کے پورے 870 روابط پر بٹھانے سے، جن کا جواب انہی گیارہ ماڈلوں نے اپنی حیثیت میں دیا، ایک فرق ظاہر ہوا، اور وہ مستحکم ہے: روابط کے دو آدھوں پر الگ الگ بٹھانے سے ماڈل تقریباً انہی جگہوں پر اترتے ہیں (0.89)۔

ایک سرے پر ماڈل لوگوں کے مفادات سے سیاسی فیصلوں تک کے روابط قبول کرتے ہیں: بڑھتی قیمتوں میں مالکانِ مکان کے مفاد کا حکومت کی رسد مخالف تبدیلیوں تک لے جانا، مکینوں کے ووٹوں کا Proposition 13 تک۔ Gemini 3.5 Flash، Claude Sonnet 5.5، Nex اور DeepSeek وہاں بیٹھے ہیں۔ دوسرے سرے پر ماڈل رکاوٹوں سے رسد کے میکانزم میں جاتے روابط قبول کرتے ہیں: ریگولیشن، موجودہ مالکان کے مفادات، کونسلوں کا کم لاگت فلیٹوں سے انکار اور ملکیتی حقوق، ہر ایک «زیادہ رہائشی یونٹ قیمتیں گھٹاتے ہیں» تک لے جاتا ہوا۔ Mistral Small، Ministral 8B، Laguna اور Qwen وہاں بیٹھے ہیں۔ موٹے طور پر، ایک فریق رہائش کو اس سے سمجھاتا ہے کہ سیاسی فائدہ کس کو ہے، دوسرا اس سے کہ رسد کو کیا روکتا ہے۔ یہ پڑھت ہماری ہے، دونوں سروں کے روابط سے۔ دوسری جہت دونوں GPT-OSS ماڈلوں کو ایک سرے پر رکھتی ہے، مگر اس کے روابط کا کوئی ایسا موضوع نہیں جس کا ہم نام لے سکیں۔

تغیر بھی متفق ہے۔ گیارہ مضبوط تر ماڈلوں میں خود ربط اس کا 68% سمجھاتا ہے، تمام 21 ماڈلوں کے ساتھ 52% کے مقابل، اور ماڈل مخصوص پڑھتیں 24% سے گھٹ کر 8% رہ جاتی ہیں: جو الگ پڑھتیں دکھتی تھیں ان کا تقریباً دو تہائی کمزور ماڈلوں سے آیا۔ باقی چھوٹا ہے، مگر وہی اوپر والا مستقل فرق ہے۔

True Causes کے لیے اس کا کیا مطلب ہے

ماڈلوں کا پینل فیصلہ پیش کرتا ہے، رائے کے تنگ دائرے کے ساتھ۔ کردار کوئی زاویے نہیں جوڑتے۔ قابل ماڈل بیشتر روابط پر متفق ہیں، اور باقی پر مستقل انداز میں مختلف، سیاسی اور رسدی تشریحات کے درمیان ایک لکیر پر۔ یہ ایک دائرہ ہے، مگر تنگ، جو اس سے طے ہوا کہ ماڈل کیسے تربیت پائے: نہ کہ وہ دائرہ جو الگ تجربے والے لوگ لاتے۔ مشاورتوں کا خلاصہ کرنے والے ماڈلوں کی تحقیق بھی اسی طرف اشارہ کرتی ہے: خلاصے اقلیتی موقفوں کی کم نمائندگی کرتے ہیں، 18 ماڈلوں کے آر پار (Zhu وغیرہ، 2025)، اور اتفاقِ رائے ڈھونڈنے کو لکھے بیان اپنے لہجے سے مواد سے زیادہ اتفاق جیت سکتے ہیں (Tsai وغیرہ، 2024)۔ True Causes پر ماڈل کمرے کی طرف سے نہیں بولتا۔ وہ اکیلے روابط لکھتا یا پرکھتا ہے، ہر فیصلہ گنا جاتا ہے، اور تقسیم نقشے پر تقسیم ہی رہتی ہے۔

پینل چننا پہلے معیار کی بات ہے، پھر توازن کی۔ ماڈلوں کا سب سے بڑا فرق یہ ہے کہ وہ کتنا اچھا پرکھتے ہیں، تو پینل قابل ماڈلوں کا ہونا چاہیے، کمزور باہر۔ قابل ماڈلوں میں خاندان الگ الگ طرف جھکتے ہیں، تو پینل کو کئی خاندانوں سے لینا چاہیے، اور کوئی ایک خاندان باقیوں سے زیادہ نہ ہو۔

ماڈلوں کو نشست دینے سے پہلے چھاننا چاہیے۔ جو ماڈل ہر چیز کو ہاں، ہر چیز کو نہیں یا ہر چیز کو «نہیں کہہ سکتے» کہے وہ ہر پرکھے جوڑے میں شور جوڑتا ہے۔ معلوم روابط پر مختصر جانچ انہیں پکڑ لیتی ہے۔

پرکھنے کے لیے کردار استعمال نہیں ہونے چاہییں۔ وہ گریز اور حیثیت کا تصوراتی سانچہ جوڑتے ہیں، اور فیصلے کا کوئی تنوع نہیں۔ لکھنا الگ سوال ہے۔ کرداروں والے ماڈلوں کا کمرہ متنوع کارڈ لکھتا ہے، مگر الگ ماڈل الگ لکھتے ہیں، اور ایک ہی ماڈل ہر بار پوچھنے پر الگ لکھتا ہے، تو اکیلے متنوع کارڈ یہ نہیں دکھاتے کہ کرداروں نے کچھ کیا۔ آزمائش وہی ہے جو یہاں پرکھنے کے لیے ہوئی: وہی ماڈل کردار کے ساتھ اور اس کے بغیر وجوہات لکھیں، اور ہر ایک کی الگ الگ وجوہات گنی جائیں۔

لوگوں کے کمرے مختلف ہیں۔ شخص وہ لاتا ہے جو اس نے دیکھا، نہ کہ کسی ایسے کا بیان جس نے شاید دیکھا ہو۔ یہ مطالعہ اس کے خلاف کچھ نہیں کہتا؛ یہ کہتا ہے کہ جس ماڈل کو بتایا گیا کہ وہ کرائے دار ہے وہ کرائے دار کی طرح جیا نہیں۔ جہاں مقصد یہ جاننا ہو کہ لوگ کس پر اختلاف رکھتے ہیں، وہاں وہ صرف لوگ دیتے ہیں۔ ان کمروں میں ماڈل جواب دینے سے زیادہ پوچھنے میں کارآمد ہے: کارڈ کے بارے میں سوال، ایک وقت میں ایک اور اپنی کسی رائے کے بغیر (اگر یہ سچ ہوتا تو آپ کیا دیکھتے؟ درمیان میں کیا ہوتا ہے؟)، لکھنے والے کو وجہ واضح کرنے میں مدد دیتا ہے، بغیر ماڈل کے لفظ اس کے منہ میں ڈالے۔

حدود

ایک سوال، رہائش؛ 120 روابط؛ فی ماڈل چار یا پانچ کردار، ہر ایک ایک بار جواب دیتا ہوا۔ جو اثرات اس ڈیزائن کی نظر سے چھوٹے ہوں وہ ظاہر نہ ہوتے۔ کردار کرداری بیانات کی صورت لکھے گئے؛ انہیں ابھارنے کے مضبوط تر طریقے، جیسے جواب سے پہلے ماڈل سے کردار میں رہ کر استدلال کرانا، اسے مزید ہلا سکتے ہیں، خاکہ بگاڑنے کے خطرے سمیت (Cheng وغیرہ، 2023)۔ باخبری پینل سے اتفاق ناپتی ہے، سچ نہیں، اور مشاورت کے منصف بنائے ماڈل لوگوں سے اتنے متفق نہیں ہوتے جتنی امید ہو (Zhu وغیرہ، 2025): جو پینل خود سے متفق ہو وہ پھر بھی ایک ہی سمت میں غلط ہو سکتا ہے۔ قابل ماڈلوں کا فرق صرف پورے 870 روابط کے ساتھ ظاہر ہوا؛ 120 کے ساتھ وہ اَن دیکھا تھا، تو چھوٹے فرق اب بھی نظر سے رہ سکتے ہیں، اور رہائش سے زیادہ متنازع سوال ماڈلوں کو مزید بانٹ سکتا ہے۔

حوالہ جات

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

کوئی سوال اٹھائیں ← · مزید نوٹس