یادداشت‌ها · هیئت‌های مدل

به مدل بگویید چه کسی است. داوری‌های علّی‌اش به‌سختی تغییر می‌کند.

اکتبر 2026

اتاق‌های مدل‌های زبانی در True Causes به هر مدل نقابی می‌دهند: پرستاری مستأجر، بازنشسته‌ای خانه‌دار، بساز‌وبفروشی خرد. ایده این است که آدم‌های مختلف علت‌های مختلفی می‌بینند، و هیئتی از مدل‌ها که نقششان را بازی می‌کنند هم می‌دید. اینکه مدلی که به او گفته‌اند چه کسی است مثل همان شخص پاسخ می‌دهد یا نه پرسشی شناخته است (Argyle et al., 2023)؛ ما آن را بر داوری‌های علّی آزمودیم.

برای داوری، نمی‌دهد. در 21 مدل و 14 نقاب، نقابی که به مدل داده شد پذیرفته شدن پیوندهای علّی را به هیچ اندازه‌ای که بتوانیم بسنجیم تغییر نداد. اینکه کدام مدل بود بسیار تغییر داد.

پژوهش

120 پیوند از یک اتاق سند عمومی دربارهٔ استطاعت مسکن برداشتیم، برگزیده چنان که پیوندهایی که اتاق تأیید کرد، رد کرد و نتوانست قطعی کند به یک اندازه باشند. هر یک از 21 مدل به هر پیوند پاسخ داد، یک بار به نام خودش و چهار یا پنج بار به‌صورت نقابی دیگر: دوازده نقاب مسکن (مستأجران و مالکان، یک موجر، یک برنامه‌ریز، یک انبوه‌ساز، یک سازمان‌دهندهٔ مستأجران، یک کارگر ساختمان و دیگران)، و دو دوقلو، همان یک نفر با فرقی در یک واقعیت، مستأجر به‌جای مالک. هر نقاب را هفت مدل بازی کردند. می‌شود 119 کرسی و 14,220 پاسخ، هر کرسی پاسخ‌گوی هر پیوند، پس هیچ پاسخی به پاسخ دیگری بسته نبود.

چه چیزی پاسخ‌ها را تعیین کرد

خودِ پیوند حدود نیمی از کل پراکندگی را توضیح می‌دهد (52٪): مدل‌ها کمابیش هم‌نظرند کدام پیوندها باورپذیرند. خوانش خودِ مدل از پیوندهای خاص یک‌چهارم دیگر را توضیح می‌دهد (24٪)، هر نقابی هم که بازی کند. گرایش کلی مدل به بله گفتن 3٪ می‌افزاید.

نقاب هیچ نیفزود. سهمش از پراکندگیِ اینکه کدام پیوندها بله گرفتند 0.000 بود؛ سهمش از گرایش کلی به بله، 0.002. آزمونی که می‌کوشد نقاب را از پاسخ‌های یک کرسی بشناسد، روی مدل‌هایی که نقاب در آن‌ها دیده نشده بود، از شانس بهتر نبود (6.1٪ در برابر 7.1٪). و کرسی‌ها به سویی که ویژگی‌های نقابشان پیش‌بینی می‌کرد نرفتند: همبستگی صفر بود. وقتی نقابی پاسخی را تغییر داد، در 1٪ تا 15٪ پیوندها بسته به مدل، تصادفی تغییرش داد.

این با یافتهٔ دیگران می‌خواند. متغیرهای نقاب سهم اندکی از واریانس کارهای برچسب‌گذاری را توضیح می‌دهند (Hu & Collier, 2024)، و نقشی که در فرمان سامانه نام برده می‌شود پاسخ‌های مدل را یکنواخت تغییر نمی‌دهد (Zheng et al., 2024). پرسش علّی برای مدل پرسشی دربارهٔ جهان خوانده می‌شود، نه دربارهٔ پرسنده.

نقاب‌ها چه را تغییر دادند: چه کسی پاسخ می‌دهد

نقاب‌ها مدل‌ها را واداشتند بیشتر بگویند «نمی‌توانم بگویم»، 26٪ بارها در برابر 19٪ به نام خودشان، و نه یکنواخت. نقاب‌های جوان، کم‌درآمد، مستأجر، چپ‌گرا و غیرآمریکایی بیشتر خودداری کردند، تا 14 واحد؛ نقاب‌های مسن‌تر، راست‌گرا، موجر، پردرآمد و مالک کمتر، تا 13 واحد. مدل‌ها نقاب‌های فرودست‌تر را چنان بازی کردند که انگار به دانسته‌هایشان کم‌اطمینان‌ترند. دانسته است که فرمان‌های نقاب چنین کلیشه‌هایی را به استدلال می‌کشانند (Gupta et al., 2024). بعضی مدل‌ها با نقاب بسیار بیشتر سر باز زدند: Gemini 3.5 Flash با نقاب به 59٪ پیوندها گفت «نمی‌توانم بگویم» و به نام خودش به هیچ‌کدام.

کدام مدل‌ها خوب داوری می‌کنند

نمودارها هر مدل را بر پایهٔ اینکه چند بار بله می‌گوید (افقی) و پاسخ‌هایش چقدر پرمایه است (عمودی) می‌نشانند. آگاهانگی بی‌دانستن پاسخ‌های درست برآورد می‌شود، از اینکه مدل‌ها با هم چقدر هم‌نظرند (Dawid & Skene, 1979): 1 داوری یکسره یکنواخت است، 0 پاسخی که هیچ نشانه‌ای در خود ندارد. هم‌نظری با یافتهٔ کل هیئت را می‌سنجد، نه درستی را، پس مدلی قوی که با مدل‌های ضعیف‌تر ناهمداستان است می‌تواند کمتر از آنچه سزاوار است امتیاز بگیرد.

بیشتر مدل‌ها تمیز می‌دهند: به یک‌چهارم تا دوسوم پیوندها بله می‌گویند و پاسخ‌هایشان نشانه دارد. Claude Sonnet 5.5 و DeepSeek V4 Flash از همه بیشتر با هیئت هم‌نظرند. مدل‌های کوچک‌تری مثل Gemma 3 4B و Command R7B کمتر می‌آورند. Schematron، مدلی ساخته برای استخراج داده نه داوری ادعا، تقریباً به همه‌چیز گفت «نمی‌توانم بگویم»، و آنچه پاسخ داد نشانه‌ای نزدیک به هیچ دارد.

مدل‌ها نظری از آنِ خود دارند؟

اگر نقاب‌ها پاسخ‌ها را شکل نمی‌دهند، شاید خودِ مدل‌ها نظریه‌های متفاوتی از مسئله دارند، یکی تقصیر را گردن مقررات می‌اندازد، دیگری گردن سفته‌بازی. یک‌چهارم پراکندگی خوانش متفاوت مدل‌ها از یک پیوند بود، پس دنبال سوهای آن تفاوت گشتیم: مدلی که هر مدل و هر پیوند را روی چند بُعد می‌نشاند، از پاسخ‌های مدل‌ها به نام خودشان. بُعد فقط وقتی شمرده می‌شود که پایدار باشد، یعنی برازشش جداگانه بر دو نیمهٔ پیوندها مدل‌ها را کمابیش در همان جاها بنشاند.

یک بُعد پایدار بود، و نظریه نبود. در یک سرش پیوندهایی بودند که به‌زور معنا می‌دهند، مثل «آپارتمان‌های لوکسی که سرمایه‌گذاران خارجی می‌خرند» که به «آمریکا سالی 600,000 تا 1.2 میلیون مهاجر می‌افزاید» برسد، که مدل‌های ضعیف‌تر پذیرفتند. در سر دیگر یک سازوکار منسجم بود، رأی ساکنان و منافع جاافتاده‌ها که عرضه را محدود نگه می‌دارند، که مدل‌های قوی‌تر همه پذیرفتند. این بُعد همان است که مدل چقدر خوب داوری می‌کند: مدل‌های قوی نزدیک هم می‌نشینند و هر مدل ضعیف به راه خودش از آن‌ها دور می‌شود.

میان یازده مدل قوی‌تر، با برازش بر 120 پیوند پژوهش، هیچ‌چیز پایدار نبود. پیوندها کم بودند. با برازش بر هر 870 پیوند اتاق، پاسخ‌دادهٔ همان یازده مدل به نام خودشان، تفاوتی پیدا شد، و پایدار است: با برازش جداگانه بر دو نیمهٔ پیوندها، مدل‌ها تقریباً در همان جاها می‌نشینند (0.89).

در یک سر، مدل‌ها پیوندهایی از منافع مردم به تصمیم‌های سیاسی را می‌پذیرند: نفع مالکان در بالا رفتن قیمت‌ها که به تغییرهای ضدعرضهٔ یک دولت می‌رسد، رأی ساکنان که به «پیشنهاد 13» می‌رسد. Gemini 3.5 Flash، Claude Sonnet 5.5، Nex و DeepSeek آنجا می‌نشینند. در سر دیگر، مدل‌ها پیوندهایی از موانع به سازوکار عرضه را می‌پذیرند: مقررات، منافع جاافتاده‌ها، شوراهایی که آپارتمان‌های ارزان را رد می‌کنند و حقوق مالکیت، هر کدام رسیده به «واحدهای مسکونی بیشتر قیمت را پایین می‌آورند». Mistral Small، Ministral 8B، Laguna و Qwen آنجا می‌نشینند. سرِ هم، یک سو مسکن را با اینکه چه کسی سیاسی سود می‌برد توضیح می‌دهد، سوی دیگر با آنچه جلوی عرضه را می‌گیرد. این خوانش از ماست، از پیوندهای هر سر. بُعد دوم هر دو مدل GPT-OSS را در یک سر می‌نشاند، اما پیوندهایش هیچ مضمون مشترکی ندارند که بتوانیم نامش ببریم.

پراکندگی هم‌داستان است. میان یازده مدل قوی‌تر، خودِ پیوند 68٪ آن را توضیح می‌دهد، در برابر 52٪ با هر 21 مدل، و خوانش‌های خاص مدل از 24٪ به 8٪ می‌افتد: حدود دوسوم آنچه خوانش‌های متفاوت می‌نمود از مدل‌های ضعیف‌تر می‌آمد. باقی کوچک‌تر است، اما همان تفاوت یکنواخت بالاست.

این برای True Causes یعنی چه

هیئت مدل‌ها داوری می‌دهد، با گستره‌ای باریک از نظرها. نقاب‌ها هیچ دیدگاهی نمی‌افزایند. مدل‌های توانمند بر بیشتر پیوندها هم‌نظرند و بر باقی به‌طور یکنواخت فرق دارند، در راستای خطی میان توضیح‌های سیاسی و توضیح‌های عرضه‌ای. این گستره‌ای است، اما باریک، تعیین‌شده به آموزش مدل‌ها: نه گسترهٔ نظرهایی که آدم‌هایی با تجربه‌های مختلف می‌آوردند. پژوهش بر مدل‌هایی که هم‌اندیشی‌ها را چکیده می‌کنند هم همین سو را نشان می‌دهد: چکیده‌ها موضع‌های اقلیت را کم‌نمایی می‌کنند، در 18 مدل (Zhu et al., 2025)، و گزاره‌هایی که برای یافتن هم‌رایی نوشته می‌شوند می‌توانند بیش از محتوا با لحنشان توافق ببرند (Tsai et al., 2024). در True Causes مدل از زبان اتاق حرف نمی‌زند. تک‌پیوندها را می‌نویسد یا داوری می‌کند، هر داوری شمرده می‌شود و دودستگی روی نقشه دودسته می‌ماند.

برگزیدن هیئت اول کار کیفیت است، بعد توازن. بزرگ‌ترین فرق مدل‌ها در این است که چقدر خوب داوری می‌کنند، پس هیئت باید از مدل‌های توانمند باشد و ضعیف‌ها بیرون بمانند. میان مدل‌های توانمند، خانواده‌ها به سوهای مختلف می‌لغزند، پس هیئت باید از چند خانواده بیاید و هیچ خانواده‌ای از بقیه بیشتر نباشد.

مدل‌ها باید پیش از نشستن غربال شوند. مدلی که به همه‌چیز بله، به همه‌چیز نه یا به همه‌چیز «نمی‌توانم بگویم» می‌گوید به هر جفتی که داوری می‌کند نوفه می‌افزاید. سنجه‌ای کوتاه بر پیوندهای شناخته پیدایشان می‌کند.

نقاب‌ها نباید برای داوری به کار بروند. خودداری و یک کلیشهٔ منزلتی می‌افزایند، و هیچ گوناگونی داوری. نوشتن پرسشی جداست. اتاقی از مدل‌های نقاب‌دار کارت‌های گوناگون می‌نویسد، اما مدل‌های مختلف متفاوت می‌نویسند و یک مدل هر بار که ازش بخواهند جور دیگری می‌نویسد، پس کارت‌های گوناگون به‌تنهایی نشان نمی‌دهند نقاب‌ها کاری کردند. آزمونش همان است که اینجا برای داوری شد: همان مدل‌ها علت‌ها را با نقاب و بی‌نقاب می‌نویسند و علت‌های متمایزی که هر کدام بیرون می‌دهد شمرده می‌شود.

اتاق‌های آدم‌ها چیز دیگری‌اند. آدم آنچه را دیده می‌آورد، نه توصیف کسی که شاید دیده باشد. این پژوهش هیچ علیه آن نمی‌گوید؛ می‌گوید مدلی که به او گفته‌اند مستأجر است، مستأجری زندگی نکرده است. آنجا که هدف فهمیدن این است که مردم بر سر چه ناهمداستان‌اند، فقط مردم آن را می‌آورند. در آن اتاق‌ها مدل در پرسیدن سودمندتر است تا پاسخ دادن: پرسشی دربارهٔ یک کارت، هر بار یکی و بی‌هیچ نظری از خودش (اگر این درست بود چه می‌دیدید؟ در میانه چه رخ می‌دهد؟)، به نویسنده‌اش کمک می‌کند علت را روشن کند بی‌آنکه واژه‌های مدل در دهانش گذاشته شود.

حدها

یک پرسش، مسکن؛ 120 پیوند؛ چهار یا پنج نقاب برای هر مدل، هر کدام با یک بار پاسخ. اثرهای کوچک‌تر از آنچه این طراحی می‌تواند ببیند پیدا نمی‌شدند. نقاب‌ها به‌صورت توصیف نقش نوشته شدند؛ راه‌های قوی‌تر القایشان، مثل خواستن از مدل که پیش از پاسخ در نقش استدلال کند، شاید بیشتر تکانش بدهد، همراه با خطر کاریکاتور (Cheng et al., 2023). آگاهانگی هم‌نظری با هیئت را می‌سنجد، نه حقیقت را، و مدل‌هایی که داور هم‌اندیشی می‌شوند کمتر از آنچه آدم امید دارد با مردم هم‌نظرند (Zhu et al., 2025): هیئتی که با خودش هم‌نظر است هنوز می‌تواند در همان سو غلط باشد. فرق میان مدل‌های توانمند فقط با هر 870 پیوند پیدا شد؛ با 120 نادیدنی بود، پس فرق‌های کوچک‌تر هنوز می‌توانند نادیده بمانند، و پرسشی پرمناقشه‌تر از مسکن شاید مدل‌ها را بیشتر دوپاره کند.

ارجاع‌ها

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

پرسشی بردارید → · یادداشت‌های بیشتر