নোট · মডেলের প্যানেল

মডেলকে বলুন সে কে। তার কার্যকারণ বিচার প্রায় বদলায় না।

অক্টোবর 2026

True Causes-এ ভাষা মডেলের রুমগুলো প্রতিটি মডেলকে একটি চরিত্র দেয়: ভাড়াটে একজন নার্স, অবসরপ্রাপ্ত একজন বাড়িওয়ালা, একজন ছোট ডেভেলপার। ভাবনাটি হল, ভিন্ন মানুষ ভিন্ন কারণ দেখেন, আর তাঁদের ভূমিকায় অভিনয় করা মডেলের একটি প্যানেলও দেখবে। নিজের পরিচয় বলে দেওয়া একটি মডেল সেই মানুষের মতো উত্তর দেয় কি না, তা একটি জানা প্রশ্ন (Argyle et al., 2023); আমরা এটি কার্যকারণ বিচারে পরীক্ষা করেছি।

বিচারের ক্ষেত্রে দেয় না। 21টি মডেল আর 14টি চরিত্র জুড়ে, একটি মডেলকে যে চরিত্র দেওয়া হয়েছিল তা কোন কার্যকারণ সংযোগ সে গ্রহণ করল তা মাপার মতো কিছুই বদলায়নি। কোন মডেল, তাতে অনেক কিছু বদলেছে।

গবেষণাটি

আমরা আবাসনের সাধ্যসীমা নিয়ে একটি পাবলিক-রেকর্ড রুম থেকে 120টি সংযোগ নিয়েছি, এমনভাবে বাছা যাতে রুম যেগুলো প্রত্যয়িত করেছে, বাতিল করেছে আর মীমাংসা করতে পারেনি সেগুলো সমানভাবে থাকে। 21টি মডেলের প্রতিটি প্রতিটি সংযোগের উত্তর দিয়েছে, একবার নিজের হয়ে আর চার-পাঁচবার ভিন্ন একটি চরিত্র হিসেবে: আবাসন নিয়ে বারোটি চরিত্র (ভাড়াটে ও মালিক, একজন বাড়িওয়ালা, একজন পরিকল্পনাবিদ, একজন ডেভেলপার, একজন ভাড়াটে-সংগঠক, একজন নির্মাণশ্রমিক এবং অন্যরা), আর দুটি যমজ, একই মানুষ শুধু একটি তথ্যে আলাদা, মালিকের বদলে ভাড়াটে। প্রতিটি চরিত্রে অভিনয় করেছে সাতটি মডেল। মোট 119টি আসন আর 14,220টি উত্তর, প্রতিটি আসন প্রতিটি সংযোগের উত্তর দিয়েছে, তাই কোনো উত্তর অন্যটির ওপর নির্ভর করেনি।

উত্তরগুলো কী ঠিক করেছে

সংযোগটি নিজেই মোট তারতম্যের প্রায় অর্ধেক ব্যাখ্যা করে (52%): কোন সংযোগগুলো বিশ্বাসযোগ্য, তাতে মডেলগুলো মোটামুটি একমত। নির্দিষ্ট সংযোগ সম্পর্কে মডেলের নিজস্ব পড়া আরও এক-চতুর্থাংশ ব্যাখ্যা করে (24%), সে যে চরিত্রেই অভিনয় করুক। হ্যাঁ বলার দিকে একটি মডেলের সাধারণ ঝোঁক যোগ করে 3%।

চরিত্র কিছুই যোগ করেনি। কোন সংযোগ হ্যাঁ পেল তার তারতম্যে এর অংশ ছিল 0.000; হ্যাঁ-এর দিকে সাধারণ ঝোঁকে এর অংশ 0.002। একটি আসনের উত্তর থেকে চরিত্রটি চেনার চেষ্টা করা একটি পরীক্ষা, যেসব মডেলে তা দেখা যায়নি সেগুলো দিয়ে, দৈবচয়নের চেয়ে ভালো করেনি (7.1%-এর বিপরীতে 6.1%)। আর আসনগুলো তাদের চরিত্রের বৈশিষ্ট্য যে দিকে যাওয়ার কথা বলে, সেদিকে সরেনি: সহসম্পর্ক ছিল শূন্য। যখন কোনো চরিত্র সত্যিই একটি উত্তর বদলেছে, মডেলভেদে 1% থেকে 15% সংযোগে, তখন তা বদলেছে এলোমেলোভাবে।

অন্যরা যা পেয়েছেন, এটি তার সঙ্গে মেলে। টীকাকরণের কাজে চরিত্রের চলরাশি তারতম্যের সামান্যই ব্যাখ্যা করে (Hu & Collier, 2024), আর সিস্টেম প্রম্পটে নাম দেওয়া ভূমিকা একটি মডেলের উত্তর ধারাবাহিকভাবে বদলায় না (Zheng et al., 2024)। একটি মডেলের কাছে কার্যকারণের প্রশ্ন জগৎ সম্পর্কে একটি প্রশ্ন, যিনি জিজ্ঞেস করছেন তাঁর সম্পর্কে নয়।

চরিত্র যা বদলেছে: কে উত্তর দেয়

চরিত্র দিলে মডেলগুলো বেশি ঘন ঘন “বলতে পারছি না” বলেছে, নিজের হয়ে 19%-এর বিপরীতে 26% ক্ষেত্রে, আর তা সমানভাবে নয়। তরুণ, নিম্ন-আয়ের, ভাড়াটে, বামঘেঁষা ও যুক্তরাষ্ট্রের বাইরের চরিত্রগুলো বেশি বিরত থেকেছে, 14 পয়েন্ট পর্যন্ত; বয়স্ক, ডানঘেঁষা, বাড়িওয়ালা, উচ্চ-আয়ের ও মালিক চরিত্রগুলো কম বিরত থেকেছে, 13 পয়েন্ট পর্যন্ত। মডেলগুলো নিম্ন মর্যাদার চরিত্রগুলোকে নিজের জ্ঞান সম্পর্কে কম নিশ্চিত হিসেবে অভিনয় করেছে। চরিত্রের প্রম্পট যে এমন গৎবাঁধা ধারণা যুক্তির মধ্যে নিয়ে আসে, তা জানা (Gupta et al., 2024)। কিছু মডেল চরিত্র পেলে অনেক বেশি অস্বীকার করেছে: Gemini 3.5 Flash চরিত্র হিসেবে 59% সংযোগে “বলতে পারছি না” বলেছে, আর নিজের হয়ে একটিতেও নয়।

কোন মডেলগুলো ভালো বিচার করে

চার্টগুলো প্রতিটি মডেলকে বসায় সে কত ঘন ঘন হ্যাঁ বলে (আড়াআড়ি) আর তার উত্তর কতটা তথ্যপূর্ণ (ওপরে) তা অনুযায়ী। তথ্যপূর্ণতা হিসাব করা হয় সঠিক উত্তর না জেনেই, মডেলগুলো একে অপরের সঙ্গে কীভাবে একমত হয় তা থেকে (Dawid & Skene, 1979): 1 মানে একজন পুরোপুরি ধারাবাহিক বিচারক, 0 মানে এমন উত্তর যাতে কোনো সংকেত নেই। এটি মাপে পুরো প্যানেল যা পায় তার সঙ্গে মিল, নির্ভুলতা নয়, তাই দুর্বলগুলোর সঙ্গে দ্বিমত করা একটি শক্তিশালী মডেল প্রাপ্যের চেয়ে কম নম্বর পেতে পারে।

বেশিরভাগ মডেল পার্থক্য করতে পারে: তারা এক-চতুর্থাংশ থেকে দুই-তৃতীয়াংশ সংযোগে হ্যাঁ বলে, আর তাদের উত্তরে সংকেত থাকে। Claude Sonnet 5.5 ও DeepSeek V4 Flash প্যানেলের সঙ্গে সবচেয়ে বেশি একমত। Gemma 3 4B ও Command R7B-এর মতো ছোট মডেলে সংকেত কম। Schematron, দাবি বিচারের বদলে ডেটা বের করার জন্য তৈরি একটি মডেল, প্রায় সবকিছুতে “বলতে পারছি না” বলেছে, আর যেটুকু উত্তর দিয়েছে তাতে সংকেত প্রায় নেই।

মডেলদের কি নিজস্ব মত আছে?

চরিত্র যদি উত্তরের রূপ না দেয়, তাহলে হয়তো মডেলগুলোর নিজেদেরই সমস্যাটি নিয়ে ভিন্ন তত্ত্ব আছে, একটি দোষ দেয় নিয়ন্ত্রণকে, আরেকটি ফাটকাবাজিকে। তারতম্যের এক-চতুর্থাংশ ছিল মডেলগুলোর একই সংযোগ ভিন্নভাবে পড়া, তাই আমরা সেই পার্থক্যের দিকগুলো খুঁজেছি: এমন একটি মডেল, যা মডেলগুলোর নিজের হয়ে দেওয়া উত্তর থেকে প্রতিটি মডেল আর প্রতিটি সংযোগকে কয়েকটি মাত্রায় বসায়। একটি মাত্রা গণ্য হয় কেবল তা স্থিতিশীল হলে, অর্থাৎ সংযোগগুলোর দুটি অর্ধেকে আলাদাভাবে বসালে যদি মডেলগুলো প্রায় একই জায়গায় পড়ে।

একটি মাত্রা স্থিতিশীল ছিল, আর তা কোনো তত্ত্ব নয়। এক প্রান্তে ছিল এমন সংযোগ যার প্রায় কোনো মানে হয় না, যেমন “বিদেশি বিনিয়োগকারীদের কেনা বিলাসবহুল অ্যাপার্টমেন্ট” থেকে “আমেরিকায় বছরে 6 লাখ থেকে 12 লাখ অভিবাসী যোগ হয়”, যা দুর্বল মডেলগুলো গ্রহণ করেছে। অন্য প্রান্তে ছিল একটি সুসংগত কৌশল, বাসিন্দাদের ভোট আর ক্ষমতাসীনদের স্বার্থ সরবরাহ সীমিত রাখে, যা শক্তিশালী মডেলগুলো সবাই গ্রহণ করেছে। মাত্রাটি হল একটি মডেল কত ভালো বিচার করে: শক্তিশালী মডেলগুলো কাছাকাছি বসে, আর প্রতিটি দুর্বল মডেল নিজের মতো করে তাদের থেকে সরে যায়।

এগারোটি শক্তিশালী মডেলের মধ্যে, গবেষণার 120টি সংযোগে বসালে, কিছুই স্থিতিশীল ছিল না। সংযোগ খুব কম ছিল। রুমের সব 870টি সংযোগে বসালে, একই এগারোটি মডেলের নিজের হয়ে দেওয়া উত্তরে, একটি পার্থক্য দেখা দিল, আর তা স্থিতিশীল: সংযোগগুলোর দুটি অর্ধেকে আলাদাভাবে বসালে মডেলগুলো প্রায় একই জায়গায় পড়ে (0.89)।

এক প্রান্তে মডেলগুলো মানুষের স্বার্থ থেকে রাজনৈতিক সিদ্ধান্তে যাওয়া সংযোগ গ্রহণ করে: দাম বাড়ায় বাড়িওয়ালাদের স্বার্থ থেকে সরকারের সরবরাহবিরোধী পরিবর্তন, বাসিন্দাদের ভোট থেকে Proposition 13। Gemini 3.5 Flash, Claude Sonnet 5.5, Nex ও DeepSeek সেখানে বসে। অন্য প্রান্তে মডেলগুলো বাধা থেকে সরবরাহের কৌশলে যাওয়া সংযোগ গ্রহণ করে: নিয়ন্ত্রণ, ক্ষমতাসীনদের স্বার্থ, কম দামের ফ্ল্যাট অনুমোদনে পরিষদের অস্বীকৃতি আর সম্পত্তির অধিকার, প্রতিটি থেকে “বেশি আবাসন ইউনিট দাম কমায়”। Mistral Small, Ministral 8B, Laguna ও Qwen সেখানে বসে। মোটামুটিভাবে, এক পক্ষ আবাসনকে ব্যাখ্যা করে রাজনৈতিকভাবে কে লাভবান হয় তা দিয়ে, অন্য পক্ষ কী সরবরাহ আটকায় তা দিয়ে। এই পড়াটি আমাদের, প্রতিটি প্রান্তের সংযোগগুলো থেকে। দ্বিতীয় মাত্রা দুটি GPT-OSS মডেলকেই এক প্রান্তে রাখে, কিন্তু এর সংযোগগুলোতে এমন কোনো সাধারণ বিষয় নেই যার নাম আমরা দিতে পারি।

তারতম্যও একই কথা বলে। এগারোটি শক্তিশালী মডেলের মধ্যে সংযোগটি নিজেই এর 68% ব্যাখ্যা করে, সব 21টি মডেলে 52%-এর বিপরীতে, আর মডেল-নির্দিষ্ট পড়া 24% থেকে নেমে আসে 8%-এ: যা ভিন্ন পড়া মনে হচ্ছিল তার প্রায় দুই-তৃতীয়াংশ এসেছিল দুর্বল মডেলগুলো থেকে। বাকিটা ছোট, কিন্তু সেটাই ওপরের ধারাবাহিক পার্থক্য।

True Causes-এর জন্য এর অর্থ কী

মডেলের একটি প্যানেল বিচার দেয়, মতের একটি সরু পরিসরসহ। চরিত্র কোনো দৃষ্টিকোণ যোগ করে না। সক্ষম মডেলগুলো বেশিরভাগ সংযোগে একমত, আর বাকিগুলোতে ধারাবাহিকভাবে ভিন্ন, রাজনৈতিক আর সরবরাহের ব্যাখ্যার মধ্যে একটি রেখা বরাবর। এটি একটি পরিসর, তবে সরু, মডেলগুলো কীভাবে প্রশিক্ষিত হয়েছে তা দিয়ে ঠিক করা: ভিন্ন অভিজ্ঞতার মানুষ যে মতের পরিসর আনতেন, তা নয়। আলোচনার সারসংক্ষেপ করা মডেল নিয়ে গবেষণাও একই দিকে ইঙ্গিত করে: 18টি মডেল জুড়ে সারসংক্ষেপে সংখ্যালঘুর অবস্থান কম আসে (Zhu et al., 2025), আর ঐকমত্য খোঁজার জন্য লেখা বিবৃতি বিষয়বস্তুর চেয়ে সুর দিয়ে বেশি সম্মতি পেতে পারে (Tsai et al., 2024)। True Causes-এ একটি মডেল কোনো রুমের হয়ে কথা বলে না। এটি একক সংযোগ লেখে বা বিচার করে, প্রতিটি বিচার গোনা হয়, আর বিভক্ত ফল মানচিত্রে বিভক্ত হিসেবেই থাকে।

প্যানেল বাছাই মানে আগে মান, তারপর ভারসাম্য। মডেলগুলোর মধ্যে সবচেয়ে বড় পার্থক্য হল তারা কত ভালো বিচার করে, তাই একটি প্যানেলে থাকা উচিত সক্ষম মডেল, দুর্বলগুলো বাদ দিয়ে। সক্ষম মডেলগুলোর মধ্যে পরিবারগুলো ভিন্ন দিকে ঝোঁকে, তাই একটি প্যানেলের উচিত কয়েকটি থেকে নেওয়া, আর কোনো একটি পরিবার যেন বাকিদের চেয়ে সংখ্যায় বেশি না হয়।

আসন দেওয়ার আগে মডেলগুলো যাচাই করা উচিত। যে মডেল সবকিছুতে হ্যাঁ, সবকিছুতে না বা সবকিছুতে “বলতে পারছি না” বলে, তা যে জোড়াই বিচার করুক তাতে গোলমাল যোগ করে। জানা সংযোগে একটি ছোট মাপজোক এগুলোকে খুঁজে বের করে।

বিচারের জন্য চরিত্র ব্যবহার করা উচিত নয়। এগুলো বিরত থাকা আর মর্যাদার একটি গৎবাঁধা ধারণা যোগ করে, বিচারের কোনো বৈচিত্র্য নয়। লেখা একটি আলাদা প্রশ্ন। চরিত্রসহ মডেলের একটি রুম বৈচিত্র্যময় কার্ড লেখে, কিন্তু ভিন্ন মডেল ভিন্নভাবে লেখে, আর একটি মডেল প্রতিবার জিজ্ঞেস করলে ভিন্নভাবে লেখে, তাই শুধু বৈচিত্র্যময় কার্ড দেখায় না যে চরিত্রগুলো কিছু করেছে। পরীক্ষাটি সেটাই যা এখানে বিচারের জন্য করা হয়েছে: একই মডেলগুলো চরিত্রসহ ও চরিত্র ছাড়া কারণ লেখে, আর প্রতিটি যে স্বতন্ত্র কারণগুলো তৈরি করে সেগুলো গোনা হয়।

মানুষের রুম আলাদা। একজন মানুষ আনেন যা তিনি দেখেছেন, এমন কারও বর্ণনা নয় যিনি হয়তো তা দেখেছেন। এই গবেষণা তার বিরুদ্ধে কিছু বলে না; এটি বলে, ভাড়াটে বলে দেওয়া একটি মডেল ভাড়াটের জীবন যাপন করেনি। যেখানে উদ্দেশ্য হল মানুষ কী নিয়ে একমত নন তা খুঁজে বের করা, সেখানে কেবল মানুষই তা জোগাতে পারেন। ওই রুমগুলোতে একটি মডেল উত্তর দেওয়ার চেয়ে প্রশ্ন করায় বেশি কাজের: একটি কার্ড নিয়ে একটি প্রশ্ন, একবারে একটি আর নিজের কোনো মত ছাড়া (এটি সত্যি হলে আপনি কী দেখতেন? মাঝখানে কী ঘটে?), লেখককে কারণটি স্পষ্ট করতে সাহায্য করে, মডেলের কথা তাঁর মুখে না বসিয়ে।

সীমাবদ্ধতা

একটি প্রশ্ন, আবাসন; 120টি সংযোগ; প্রতি মডেলে চার-পাঁচটি চরিত্র, প্রতিটি একবার উত্তর দিয়েছে। এই নকশা যা দেখতে পারে তার চেয়ে ছোট প্রভাব ধরা পড়বে না। চরিত্রগুলো লেখা হয়েছিল ভূমিকার বর্ণনা হিসেবে; সেগুলো আরোপের আরও জোরালো উপায়, যেমন উত্তরের আগে মডেলকে চরিত্রের মধ্যে থেকে যুক্তি সাজাতে বলা, তাকে আরও সরাতে পারে, সঙ্গে ব্যঙ্গচিত্রের ঝুঁকিও (Cheng et al., 2023)। তথ্যপূর্ণতা মাপে প্যানেলের সঙ্গে মিল, সত্য নয়, আর আলোচনার বিচারক হিসেবে ব্যবহৃত মডেল মানুষের সঙ্গে যতটা আশা করা যায় তত ভালো একমত হয় না (Zhu et al., 2025): নিজের সঙ্গে একমত একটি প্যানেলও একই দিকে ভুল হতে পারে। সক্ষম মডেলগুলোর পার্থক্য দেখা দিয়েছিল কেবল সব 870টি সংযোগে; 120টিতে তা অদৃশ্য ছিল, তাই আরও ছোট পার্থক্য এখনও অদেখা থাকতে পারে, আর আবাসনের চেয়ে বেশি বিতর্কিত একটি প্রশ্ন মডেলগুলোকে আরও ভাগ করতে পারে।

তথ্যসূত্র

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

একটি প্রশ্ন হাতে নিন → · আরও নোট