רשימות · פאנלים של מודלים

אמרו למודל מי הוא. שיפוטיו הסיבתיים בקושי משתנים.

אוקטובר 2026

חדרים של מודלי שפה ב-True Causes נותנים לכל מודל פרסונה: אחות ששוכרת דירה, בעל בית בפנסיה, יזם קטן. הרעיון הוא שאנשים שונים רואים סיבות שונות, ושפאנל של מודלים שמגלמים אותם יראה גם הוא. האם מודל שאומרים לו מי הוא עונה כמו האדם ההוא — שאלה מוכרת (Argyle et al., 2023); בחנו אותה על שיפוטים סיבתיים.

הוא לא, בשיפוט. לאורך 21 מודלים ו-14 פרסונות, הפרסונה שהמודל קיבל שינתה אילו קשרים סיבתיים הוא מקבל בשום דבר שיכולנו למדוד. איזה מודל הוא היה — שינה הרבה מאוד.

המחקר

לקחנו 120 קשרים מחדר רשומה ציבורית על נגישות הדיור, שנבחרו כך שקשרים שהחדר אימת, דחה ולא הצליח להכריע מיוצגים שווה. כל אחד מ-21 מודלים ענה על כל קשר, פעם כעצמו וארבע או חמש פעמים כפרסונה אחרת: שתים־עשרה פרסונות דיור (שוכרים ובעלים, בעל בית משכיר, מתכנן, יזם, מארגן דיירים, פועל בניין ואחרים), ושני תאומים, אותו אדם למעט עובדה אחת, שוכר במקום בעלים. כל פרסונה שוחקה בידי שבעה מודלים. אלה 119 מושבים ו-14,220 תשובות, כל מושב עונה על כל קשר, כך ששום תשובה לא הייתה תלויה באחרת.

מה הכריע את התשובות

הקשר עצמו מסביר כמחצית מכל השונות (52%): מודלים מסכימים במידה רבה אילו קשרים סבירים. הקריאה של המודל עצמו קשרים מסוימים מסבירה עוד רבע (24%), תהא הפרסונה שהוא משחק אשר תהא. נטייתו הכללית של מודל לומר כן מוסיפה 3%.

הפרסונה לא הוסיפה דבר. חלקה בשונות של אילו קשרים קיבלו כן היה 0.000; חלקה בנטייה כללית לכן, 0.002. מבחן שמנסה לזהות את הפרסונה מתשובותיו של מושב, לפי מודלים שהיא לא נראתה בהם, לא הצליח יותר ממקרה (6.1% מול 7.1%). ומושבים לא זזו בכיוון שמאפייני הפרסונה שלהם היו חוזים: המתאם היה אפס. כשפרסונה כן שינתה תשובה, על בין 1% ל-15% מהקשרים לפי המודל, היא שינתה אותה באקראי.

זה תואם מה שאחרים מצאו. משתני פרסונה מסבירים מעט מהשונות במשימות תיוג (Hu & Collier, 2024), והתפקיד שנקוב בהנחיית המערכת אינו משנה בעקביות את תשובות המודל (Zheng et al., 2024). שאלה סיבתית נקראת למודל כשאלה על העולם, לא על האדם ששואל.

מה פרסונות כן שינו: מי עונה

פרסונות גרמו למודלים לומר „אין לי יכולת לומר” לעיתים קרובות יותר, 26% מהפעמים מול 19% כעצמם, ולא באופן שווה. פרסונות צעירות, בעלות הכנסה נמוכה, שוכרות, נוטות שמאלה ולא-אמריקאיות נמנעו יותר, עד 14 נקודות; פרסונות מבוגרות, נוטות ימינה, בעלי בתים משכירים, בעלות הכנסה גבוהה ובעלים נמנעו פחות, עד 13 נקודות. המודלים שיחקו פרסונות במעמד נמוך יותר כבטוחות פחות במה שהן יודעות. ידוע שהנחיות פרסונה נושאות סטראוטיפים כאלה לתוך החשיבה (Gupta et al., 2024). חלק מהמודלים סירבו הרבה יותר עם פרסונה: Gemini 3.5 Flash אמר „אין לי יכולת לומר” ל-59% מהקשרים כפרסונה ולאף אחד כעצמו.

אילו מודלים שופטים טוב

התרשימים ממקמים כל מודל לפי כמה פעמים הוא אומר כן (לרוחב) וכמה תשובותיו מודיעות (למעלה). מידת המידע נאמדת בלי לדעת את התשובות הנכונות, מתוך הסכמת המודלים זה עם זה (Dawid & Skene, 1979): ‏1 הוא שופט עקבי לחלוטין, 0 תשובה שאינה נושאת שום אות. היא מודדת הסכמה עם מה שהפאנל כולו מוצא, לא נכונות, כך שמודל חזק שחולק על חלשים יכול לקבל ציון נמוך ממה שמגיע לו.

רוב המודלים מבחינים: הם אומרים כן לבין רבע לשני שלישים מהקשרים, ותשובותיהם נושאות אות. Claude Sonnet 5.5 ו-DeepSeek V4 Flash מסכימים הכי הרבה עם הפאנל. מודלים קטנים יותר כמו Gemma 3 4B ו-Command R7B נושאים פחות. Schematron, מודל שנבנה לחילוץ נתונים ולא לשיפוט טענות, אמר „אין לי יכולת לומר” כמעט לכל דבר, ומה שכן ענה כמעט שאינו נושא אות.

האם למודלים יש דעות משלהם?

אם פרסונות אינן מעצבות את התשובות, אולי המודלים עצמם מחזיקים בתאוריות שונות של הבעיה, אחד מאשים רגולציה, אחר ספקולציה. רבע מהשונות היה מודלים שקוראים את אותו קשר אחרת, אז חיפשנו את הכיוונים של ההבדל הזה: מודל שממקם כל מודל וכל קשר על כמה ממדים, מתוך תשובות המודלים כעצמם. ממד נספר רק אם הוא יציב, כלומר, אם התאמתו בנפרד על שני חצאי הקשרים שמה את המודלים בערך באותם מקומות.

ממד אחד היה יציב, והוא לא היה תאוריה. בקצה אחד היו קשרים שבקושי הגיוניים, כמו „דירות יוקרה שנקנות בידי משקיעים זרים” שמוביל ל„אמריקה מוסיפה 600,000 עד 1.2 מיליון מהגרים בשנה”, שהמודלים החלשים קיבלו. בקצה האחר היה מנגנון קוהרנטי אחד, קולות התושבים והאינטרסים של המחזיקים ששומרים על היצע מוגבל, שהמודלים החזקים כולם קיבלו. הממד הוא כמה טוב מודל שופט: החזקים יושבים קרוב זה לזה, וכל מודל חלש סוטה מהם בדרכו שלו.

בין אחד־עשר המודלים החזקים, בהתאמה על 120 הקשרים של המחקר, דבר לא היה יציב. זה היה מעט מדי קשרים. בהתאמה על כל 870 הקשרים של החדר, שנענו בידי אותם אחד־עשר מודלים כעצמם, הופיע הבדל, והוא יציב: בהתאמה נפרדת על שני חצאי הקשרים, המודלים נוחתים כמעט באותם מקומות (0.89).

בקצה אחד, מודלים מקבלים קשרים מאינטרסים של אנשים להחלטות פוליטיות: העניין של בעלי בתים במחירים עולים שמוביל לשינויים אנטי-היצעיים של ממשלה, קולות תושבים שמובילים ל-Proposition 13. ‏Gemini 3.5 Flash,‏ Claude Sonnet 5.5,‏ Nex ו-DeepSeek יושבים שם. בקצה האחר, מודלים מקבלים קשרים מחסמים אל מנגנון ההיצע: רגולציה, אינטרסים של מחזיקים, מועצות שמסרבות לדירות זולות וזכויות קניין, כל אחד מוביל ל„יותר יחידות דיור מורידות מחירים”. ‏Mistral Small,‏ Ministral 8B,‏ Laguna ו-Qwen יושבים שם. בגדול, צד אחד מסביר דיור דרך מי מרוויח פוליטית, האחר דרך מה שחוסם היצע. הקריאה הזו היא שלנו, מתוך הקשרים בכל קצה. הממד השני שם את שני מודלי GPT-OSS בקצה אחד, אבל לקשריו אין נושא שאנחנו יכולים לנקוב בו.

השונות מסכימה. בין אחד־עשר המודלים החזקים, הקשר עצמו מסביר 68% ממנה, מול 52% עם כל 21 המודלים, וקריאות ייחודיות למודל יורדות מ-24% ל-8%: כשני שלישים ממה שנראה כקריאות שונות בא מהמודלים החלשים. השאר קטן יותר, אבל הוא ההבדל העקבי שלמעלה.

מה זה אומר ל-True Causes

פאנל של מודלים מציע שיפוט, עם טווח דעות צר. פרסונות אינן מוסיפות נקודות מבט. מודלים מוכשרים מסכימים על רוב הקשרים, ונבדלים בעקביות על השאר, לאורך קו בין הסברים פוליטיים להסברי היצע. זה טווח, אבל צר, שנקבע באופן אימון המודלים: לא טווח הדעות שאנשים עם ניסיון שונה היו מביאים. מחקר על מודלים שמסכמים דיונים מצביע לאותו כיוון: הסיכומים מייצגים בחסר עמדות מיעוט, לאורך 18 מודלים (Zhu et al., 2025), והיגדים שנכתבו למצוא קונצנזוס יכולים לזכות בהסכמה בזכות הטון יותר מהתוכן (Tsai et al., 2024). ב-True Causes מודל אינו מדבר בשם חדר. הוא כותב או שופט קשרים בודדים, כל שיפוט נספר, וחלוקה נשארת על המפה כחלוקה.

בחירת פאנל היא קודם איכות, אחר כך איזון. ההבדל הגדול ביותר בין מודלים הוא כמה טוב הם שופטים, ולכן פאנל צריך להיות מודלים מוכשרים, בלי החלשים. בין מודלים מוכשרים, המשפחות נוטות לכיוונים שונים, ולכן פאנל צריך לשאוב מכמה, ואף משפחה אחת לא תעלה במספרה על השאר.

מודלים צריכים להיבדק לפני שמושיבים אותם. מודל שאומר כן לכל דבר, לא לכל דבר או „אין לי יכולת לומר” לכל דבר מוסיף רעש לכל זוג שהוא שופט. כיול קצר על קשרים ידועים מוצא אותם.

בפרסונות אין להשתמש לשיפוט. הן מוסיפות הימנעויות וסטראוטיפ מעמדי, ושום גיוון בשיפוט. כתיבה היא שאלה נפרדת. חדר של מודלים עם פרסונות כותב כרטיסים מגוונים, אבל מודלים שונים כותבים אחרת, ומודל אחד כותב אחרת בכל פעם שמבקשים ממנו, כך שכרטיסים מגוונים לבדם אינם מראים שהפרסונות עשו דבר. המבחן הוא זה ששימש כאן לשיפוט: אותם מודלים כותבים סיבות עם פרסונה ובלעדיה, והסיבות הנבדלות שכל אחד מפיק נספרות.

חדרים של אנשים הם דבר אחר. אדם מביא את מה שראה, לא תיאור של מישהו שאולי ראה. המחקר הזה אינו אומר דבר נגד זה; הוא אומר שמודל שנאמר לו שהוא שוכר לא חי כשוכר. היכן שהעניין הוא לגלות על מה אנשים חלוקים, רק אנשים מספקים את זה. בחדרים האלה מודל מועיל יותר כששואל מאשר כשעונה: שאלה על כרטיס, אחת בכל פעם ובלי דעה משלו (מה היית רואים אילו זה היה נכון? מה קורה באמצע?), עוזרת לכותב להבהיר את הסיבה בלי לשים את מילות המודל בפיו.

מגבלות

שאלה אחת, דיור; 120 קשרים; ארבע או חמש פרסונות למודל, כל אחת עונה פעם אחת. אפקטים קטנים ממה שהמערך הזה יכול לראות לא היו מופיעים. הפרסונות נכתבו כתיאורי תפקיד; דרכים חזקות יותר להשרות אותן, כמו לבקש ממודל לחשוב בתוך הדמות לפני שהוא עונה, עשויות להזיז אותו רחוק יותר, יחד עם סיכון הקריקטורה (Cheng et al., 2023). מידת המידע מודדת הסכמה עם הפאנל, לא אמת, ומודלים ששימשו שופטי דיון מסכימים עם אנשים פחות טוב משהיה אפשר לקוות (Zhu et al., 2025): פאנל שמסכים עם עצמו עדיין יכול לטעות באותו כיוון. ההבדל בין מודלים מוכשרים הופיע רק עם כל 870 הקשרים; עם 120 הוא היה בלתי נראה, כך שהבדלים קטנים יותר עדיין יכולים להיעלם מהעין, ושאלה שנויה במחלוקת יותר מדיור עשויה לפלג מודלים יותר.

הפניות

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

לאמץ שאלה ← · עוד רשימות