ملاحظات · لجان النماذج

قل لنموذج من يكون. أحكامه السببية لا تتغير إلا بالكاد.

أكتوبر 2026

غرف النماذج اللغوية على True Causes تعطي كل نموذج شخصية: ممرضة تستأجر، متقاعد يملك بيته، مطوّر عقاري صغير. والفكرة أن الناس المختلفين يرون أسبابًا مختلفة، وأن لجنة من نماذج تلعبهم سترى مثلهم. وهل يجيب نموذج قيل له من يكون كما يجيب ذلك الشخص سؤال معروف (Argyle et al., 2023)؛ ونحن اختبرناه على الأحكام السببية.

إنه لا يفعل، في الحكم. فعبر 21 نموذجًا و14 شخصية، لم تغيّر الشخصية المعطاة للنموذج أيَّ الروابط السببية يقبل بأي قدر استطعنا قياسه. أما أي نموذج هو فغيّر كثيرًا.

الدراسة

أخذنا 120 رابطًا من غرفة سجل عام عن القدرة على تحمل كلفة السكن، مختارة بحيث تتمثل بالتساوي الروابط التي وثّقتها الغرفة والتي رفضتها والتي لم تستطع حسمها. أجاب كل واحد من 21 نموذجًا عن كل رابط، مرة بصفته هو وأربع أو خمس مرات بشخصية مختلفة: اثنتا عشرة شخصية سكنية (مستأجرون ومالكون، ومؤجِّر، ومخطِّط، ومطوِّر، ومنظِّم مستأجرين، وعامل بناء وغيرهم)، وتوأمان، الشخص نفسه إلا في واقعة واحدة، يستأجر بدل أن يملك. ولعب كل شخصية سبعة نماذج. ذلك 119 مقعدًا و14,220 إجابة، كل مقعد يجيب عن كل رابط، فلا إجابة تعتمد على أخرى.

ما الذي حسم الإجابات

الرابط نفسه يفسر نحو نصف كل التباين (52%): النماذج تتفق إلى حد بعيد على أي الروابط معقول. وقراءة النموذج نفسه لروابط بعينها تفسر ربعًا آخر (24%)، أيًا كانت الشخصية التي يلعبها. وميل النموذج العام إلى قول نعم يضيف 3%.

الشخصية لم تضف شيئًا. حصتها من التباين في أي الروابط نالت نعم كانت 0.000؛ وحصتها من ميل عام نحو نعم، 0.002. واختبار يحاول التعرف على الشخصية من إجابات مقعد، عبر نماذج لم تُرَ فيها، لم يُحسن أكثر من الصدفة (6.1% مقابل 7.1%). ولم تتحرك المقاعد في الاتجاه الذي تتنبأ به سمات شخصيتها: كان الارتباط صفرًا. وحين غيّرت شخصيةٌ إجابةً، على ما بين 1% و15% من الروابط بحسب النموذج، غيّرتها عشوائيًا.

وهذا يوافق ما وجده آخرون. متغيرات الشخصية تفسر قليلًا من التباين في مهام التصنيف (Hu & Collier, 2024)، والدور المسمى في موجه النظام لا يغيّر إجابات النموذج باتساق (Zheng et al., 2024). فالسؤال السببي يقرؤه النموذج سؤالًا عن العالم، لا عن الشخص السائل.

ما الذي غيّرته الشخصيات: من يجيب

جعلت الشخصيات النماذج تقول «لا أستطيع الحكم» أكثر، 26% من المرات مقابل 19% بصفتها هي، وليس بالتساوي. الشخصيات الشابة ومنخفضة الدخل والمستأجرة واليسارية وغير الأمريكية امتنعت أكثر، حتى 14 نقطة؛ والأكبر سنًا واليمينية والمؤجِّرة ومرتفعة الدخل والمالكة امتنعت أقل، حتى 13 نقطة. لعبت النماذج الشخصيات الأدنى مكانةً أقلَّ يقينًا بما تعرف. ومعروف أن موجهات الشخصية تحمل مثل هذه الصور النمطية إلى الاستدلال (Gupta et al., 2024). وبعض النماذج رفضت أكثر بكثير مع شخصية: قال Gemini 3.5 Flash «لا أستطيع الحكم» عن 59% من الروابط بشخصية وعن لا شيء بصفته هو.

أي النماذج يحكم جيدًا

تضع المخططات كل نموذج بحسب كم مرة يقول نعم (أفقيًا) وكم إجاباته معلومة (عموديًا). وتُقدَّر المعلومية دون معرفة الإجابات الصحيحة، من اتفاق النماذج بعضها مع بعض (Dawid & Skene, 1979): 1 حاكم متسق تمامًا، و0 إجابة لا إشارة فيها. وهي تقيس الاتفاق مع ما تجده اللجنة ككل، لا الصواب، فقد يسجّل نموذج قوي يخالف الأضعف أقل مما يستحق.

معظم النماذج تميّز: تقول نعم لما بين ربع الروابط وثلثيها، وإجاباتها تحمل إشارة. Claude Sonnet 5.5 وDeepSeek V4 Flash يتفقان أكثر ما يكون مع اللجنة. والنماذج الأصغر مثل Gemma 3 4B وCommand R7B تحمل أقل. أما Schematron، وهو نموذج بُني لاستخراج البيانات لا للحكم على الادعاءات، فقال «لا أستطيع الحكم» عن كل شيء تقريبًا، وما أجاب عنه يكاد لا يحمل إشارة.

هل للنماذج آراء خاصة بها؟

إن لم تكن الشخصيات تشكّل الإجابات، فربما تحمل النماذج نفسها نظريات مختلفة للمشكلة، واحد يلوم التنظيم وآخر المضاربة. كان ربع التباين نماذجَ تقرأ الرابط نفسه قراءات مختلفة، فبحثنا عن اتجاهات ذلك الاختلاف: نموذج يضع كل نموذج وكل رابط على أبعاد قليلة، من إجابات النماذج بصفتها هي. ولا يُحسب بُعد إلا إذا كان مستقرًا، أي إذا وضع ملاءمتُه على نصفي الروابط كلٌّ على حدة النماذجَ في المواضع نفسها تقريبًا.

كان بُعد واحد مستقرًا، ولم يكن نظرية. في أحد طرفيه روابط تكاد لا تستقيم، مثل «شقق فاخرة يشتريها مستثمرون أجانب» تؤدي إلى «أمريكا تضيف 600,000 إلى 1.2 مليون مهاجر سنويًا»، قبلتها النماذج الأضعف. وفي الطرف الآخر آلية واحدة متماسكة، أصوات السكان ومصالح القائمين تُبقي المعروض محدودًا، قبلتها النماذج الأقوى كلها. فالبعد هو كم يُحسن نموذج الحكم: النماذج القوية تجلس متقاربة، وكل نموذج ضعيف يبتعد عنها بطريقته.

بين النماذج الأحد عشر الأقوى، ملاءمةً على روابط الدراسة الـ120، لم يكن شيء مستقرًا. كان ذلك روابط أقل من اللازم. وملاءمةً على روابط الغرفة الـ870 كلها، التي أجابت عنها النماذج الأحد عشر نفسها بصفتها هي، ظهر اختلاف، وهو مستقر: ملاءمةً على نصفي الروابط كلٌّ على حدة تحطّ النماذج في المواضع نفسها تقريبًا (0.89).

في أحد الطرفين تقبل النماذج روابط من مصالح الناس إلى القرارات السياسية: حصة المالكين في ارتفاع الأسعار تؤدي إلى تغييرات حكومة المعاديةِ للمعروض، وأصوات السكان تؤدي إلى «المقترح 13». هناك يجلس Gemini 3.5 Flash وClaude Sonnet 5.5 وNex وDeepSeek. وفي الطرف الآخر تقبل النماذج روابط من الحواجز إلى آلية المعروض: التنظيم، ومصالح القائمين، ورفض المجالس للشقق منخفضة الكلفة، وحقوق الملكية، كلٌّ يؤدي إلى «مزيد من الوحدات السكنية يخفض الأسعار». هناك يجلس Mistral Small وMinistral 8B وLaguna وQwen. تقريبًا، جانب يفسّر السكن بمن يكسب سياسيًا، والآخر بما يعرقل المعروض. وتلك قراءتنا نحن، من الروابط عند كل طرف. أما البعد الثاني فيضع نموذجي GPT-OSS كليهما في طرف، لكن روابطه لا تتشارك موضوعًا نستطيع تسميته.

والتباين يوافق. بين النماذج الأحد عشر الأقوى يفسر الرابط نفسه 68% منه، مقابل 52% مع النماذج الـ21 كلها، وتهبط القراءات الخاصة بالنموذج من 24% إلى 8%: نحو ثلثي ما بدا قراءات مختلفة جاء من النماذج الأضعف. والباقي أصغر، لكنه الاختلاف المتسق أعلاه.

ما يعنيه هذا لـTrue Causes

لجنة النماذج تقدم حكمًا، بمدى ضيق من الآراء. الشخصيات لا تضيف منظورات. والنماذج القادرة تتفق على معظم الروابط، وتختلف باتساق على البقية، على خط بين التفسيرات السياسية وتفسيرات المعروض. ذلك مدى، لكنه ضيق، يحدده كيف دُرّبت النماذج: لا مدى الآراء الذي كان سيجلبه أناس بخبرات مختلفة. والبحث في النماذج التي تلخص التداولات يشير إلى الاتجاه نفسه: الملخصات تمثّل مواقف الأقلية تمثيلًا ناقصًا، عبر 18 نموذجًا (Zhu et al., 2025)، والعبارات المكتوبة لإيجاد توافق قد تكسب الموافقة بنبرتها أكثر من محتواها (Tsai et al., 2024). على True Causes لا يتحدث نموذج باسم غرفة. إنه يكتب روابط مفردة أو يحكم عليها، وكل حكم يُعدّ، والانقسام يبقى على الخريطة انقسامًا.

اختيار اللجنة جودةٌ أولًا، ثم توازن. أكبر فرق بين النماذج هو كم تُحسن الحكم، فينبغي أن تكون اللجنة نماذج قادرة، مع استبعاد الضعيفة. وبين النماذج القادرة تميل العائلات اتجاهات مختلفة، فينبغي أن تستند اللجنة إلى عدة عائلات، وألا تفوق عائلة واحدة البقية عددًا.

ينبغي فحص النماذج قبل إجلاسها. النموذج الذي يقول نعم لكل شيء، أو لا لكل شيء، أو «لا أستطيع الحكم» لكل شيء، يضيف ضجيجًا إلى كل زوج يحكم عليه. ومعايرة قصيرة على روابط معروفة تجدها.

لا ينبغي استخدام الشخصيات للحكم. فهي تضيف امتناعات وصورة نمطية عن المكانة، ولا تنوع في الحكم. والكتابة سؤال منفصل. غرفة نماذج بشخصيات تكتب بطاقات منوعة، لكن النماذج المختلفة تكتب باختلاف، والنموذج الواحد يكتب باختلاف كل مرة يُسأل، فالبطاقات المنوعة وحدها لا تُظهر أن الشخصيات فعلت شيئًا. والاختبار هو المستخدم هنا للحكم: النماذج نفسها تكتب أسبابًا بشخصية ومن دونها، وتُعدّ الأسباب المتمايزة التي ينتجها كلٌّ.

غرف الناس شيء آخر. الشخص يجلب ما رآه، لا وصفًا لشخص ربما رآه. وهذه الدراسة لا تقول شيئًا ضد ذلك؛ إنها تقول إن نموذجًا قيل له إنه مستأجر لم يعش مستأجرًا. وحيث يكون المقصد معرفة ما يختلف الناس فيه، لا يوفّره إلا الناس. وفي تلك الغرف يكون النموذج أنفع سائلًا لا مجيبًا: سؤال عن بطاقة، واحدًا واحدًا وبلا رأي له (ماذا كنت سترى لو صح هذا؟ ما الذي يحدث في الوسط؟)، يعين كاتبها على توضيح السبب دون وضع كلمات النموذج في فمه.

الحدود

سؤال واحد، السكن؛ 120 رابطًا؛ أربع أو خمس شخصيات لكل نموذج، كلٌّ تجيب مرة. فالآثار الأصغر مما يستطيع هذا التصميم رؤيته لن تظهر. وكُتبت الشخصيات أوصافَ أدوار؛ وطرق أقوى لاستحضارها، كطلب التفكير بالشخصية قبل الإجابة، قد تحرّك النموذج أبعد، ومعها خطر الكاريكاتير (Cheng et al., 2023). والمعلومية تقيس الاتفاق مع اللجنة لا الحقيقة، والنماذج المستخدمة حكّامًا على التداول تتفق مع الناس أقل مما يُؤمل (Zhu et al., 2025): فاللجنة المتفقة مع نفسها قد تظل مخطئة في الاتجاه نفسه. والاختلاف بين النماذج القادرة لم يظهر إلا مع الروابط الـ870 كلها؛ ومع 120 كان غير مرئي، فقد تبقى اختلافات أصغر غير مرئية، وسؤال أكثر إثارة للنزاع من السكن قد يقسم النماذج أكثر.

المراجع

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

تناول سؤالًا ← · مزيد من الملاحظات