บันทึก · คณะผู้พิจารณาที่เป็นโมเดล

บอกโมเดลว่ามันเป็นใคร การตัดสินเรื่องสาเหตุของมันแทบไม่เปลี่ยน

ตุลาคม 2026

ห้องของโมเดลภาษาใน True Causes ให้บทบาทสมมติแก่โมเดลแต่ละตัว: พยาบาลที่เช่าบ้าน เจ้าของบ้านที่เกษียณแล้ว ผู้พัฒนาอสังหาฯ รายเล็ก แนวคิดคือคนต่างกันมองเห็นสาเหตุต่างกัน และคณะผู้พิจารณาที่เป็นโมเดลซึ่งสวมบทบาทเหล่านั้นก็น่าจะเป็นเช่นกัน การที่โมเดลซึ่งถูกบอกว่าตนเป็นใครจะตอบเหมือนคนคนนั้นหรือไม่ เป็นคำถามที่รู้จักกันดี (Argyle et al., 2023) เราทดสอบมันกับการตัดสินเรื่องสาเหตุ

สำหรับการตัดสิน คำตอบคือไม่ จากโมเดล 21 ตัวและบทบาทสมมติ 14 แบบ บทบาทสมมติที่โมเดลได้รับเปลี่ยนความเชื่อมโยงเชิงสาเหตุที่มันยอมรับไปในระดับที่เราวัดไม่ได้เลย แต่การเป็นโมเดลตัวไหนเปลี่ยนไปมาก

การศึกษา

เรานำความเชื่อมโยง 120 ข้อจากห้องที่สร้างจากเอกสารสาธารณะเรื่องความสามารถในการซื้อหาที่อยู่อาศัย โดยเลือกให้ความเชื่อมโยงที่ห้องรับรอง ปฏิเสธ และหาข้อยุติไม่ได้มีสัดส่วนเท่ากัน โมเดลแต่ละตัวจาก 21 ตัวตอบทุกความเชื่อมโยง หนึ่งครั้งในฐานะตัวมันเอง และสี่หรือห้าครั้งในฐานะบทบาทสมมติต่างๆ: บทบาทเรื่องที่อยู่อาศัยสิบสองแบบ (ผู้เช่าและเจ้าของบ้าน เจ้าของห้องเช่า นักผังเมือง ผู้พัฒนาอสังหาฯ แกนนำผู้เช่า แรงงานก่อสร้าง และอื่นๆ) และคู่แฝดสองแบบ ซึ่งเป็นคนเดียวกันยกเว้นข้อเท็จจริงข้อเดียว คือเช่าแทนที่จะเป็นเจ้าของ แต่ละบทบาทถูกเล่นโดยโมเดลเจ็ดตัว รวมเป็น 119 ที่นั่ง และ 14,220 คำตอบ ทุกที่นั่งตอบทุกความเชื่อมโยง ไม่มีคำตอบใดขึ้นอยู่กับคำตอบอื่น

อะไรเป็นตัวกำหนดคำตอบ

ตัวความเชื่อมโยงเองอธิบายความแปรปรวนได้ราวครึ่งหนึ่งของทั้งหมด (52%): โมเดลส่วนใหญ่เห็นตรงกันว่าความเชื่อมโยงใดฟังขึ้น การที่โมเดลแต่ละตัวอ่านความเชื่อมโยงบางข้อในแบบของตัวเองอธิบายได้อีกหนึ่งในสี่ (24%) ไม่ว่ามันจะเล่นบทบาทใด แนวโน้มทั่วไปของโมเดลที่จะตอบใช่เพิ่มอีก 3%

บทบาทสมมติไม่ได้เพิ่มอะไรเลย สัดส่วนของมันในความแปรปรวนว่าความเชื่อมโยงใดได้คำตอบใช่คือ 0.000 สัดส่วนของมันในการเอนเอียงไปทางใช่โดยรวมคือ 0.002 การทดสอบที่พยายามระบุบทบาทสมมติจากคำตอบของที่นั่ง โดยใช้โมเดลที่ไม่เคยเห็นบทบาทนั้น ทำได้ไม่ดีกว่าการสุ่ม (6.1% เทียบกับ 7.1%) และที่นั่งก็ไม่ได้ขยับไปในทิศทางที่คุณลักษณะของบทบาทสมมติจะทำนายไว้: สหสัมพันธ์เป็นศูนย์ เมื่อบทบาทสมมติเปลี่ยนคำตอบ ซึ่งเกิดกับความเชื่อมโยงระหว่าง 1% ถึง 15% แล้วแต่โมเดล มันเปลี่ยนแบบสุ่ม

ผลนี้ตรงกับที่คนอื่นพบ ตัวแปรบทบาทสมมติอธิบายความแปรปรวนในงานกำกับข้อมูลได้น้อย (Hu & Collier, 2024) และบทบาทที่ระบุใน system prompt ไม่ได้เปลี่ยนคำตอบของโมเดลอย่างสม่ำเสมอ (Zheng et al., 2024) สำหรับโมเดล คำถามเรื่องสาเหตุอ่านได้ว่าเป็นคำถามเกี่ยวกับโลก ไม่ใช่เกี่ยวกับคนที่ถาม

สิ่งที่บทบาทสมมติเปลี่ยน: ใครเป็นผู้ตอบ

บทบาทสมมติทำให้โมเดลตอบว่า “บอกไม่ได้” บ่อยขึ้น 26% ของครั้ง เทียบกับ 19% เมื่อเป็นตัวเอง และไม่เท่ากันทุกบทบาท บทบาทที่อายุน้อย รายได้ต่ำ เช่าบ้าน เอนซ้าย และไม่ใช่คนอเมริกัน งดตอบมากขึ้นสูงสุด 14 จุด บทบาทที่อายุมาก เอนขวา เป็นเจ้าของห้องเช่า รายได้สูง และเป็นเจ้าของบ้าน งดตอบน้อยลงสูงสุด 13 จุด โมเดลเล่นบทบาทที่มีสถานะต่ำกว่าให้ไม่มั่นใจในสิ่งที่ตนรู้มากกว่า เป็นที่รู้กันว่าคำสั่งให้สวมบทบาทนำภาพเหมารวมแบบนี้เข้าไปในการให้เหตุผล (Gupta et al., 2024) โมเดลบางตัวปฏิเสธที่จะตอบมากขึ้นมากเมื่อมีบทบาทสมมติ: Gemini 3.5 Flash ตอบว่า “บอกไม่ได้” กับ 59% ของความเชื่อมโยงเมื่อสวมบทบาท และไม่ตอบเช่นนั้นเลยเมื่อเป็นตัวเอง

โมเดลใดตัดสินได้ดี

แผนภูมิวางตำแหน่งโมเดลแต่ละตัวตามความถี่ที่มันตอบใช่ (แนวนอน) และตามว่าคำตอบของมันให้ข้อมูลมากเพียงใด (แนวตั้ง) ค่าความให้ข้อมูล (informedness) ประมาณได้โดยไม่ต้องรู้คำตอบที่ถูก จากการที่โมเดลเห็นตรงกันกับโมเดลอื่น (Dawid & Skene, 1979): 1 คือผู้ตัดสินที่สม่ำเสมออย่างสมบูรณ์ 0 คือคำตอบที่ไม่มีสัญญาณใดเลย มันวัดความเห็นตรงกันกับสิ่งที่คณะผู้พิจารณาทั้งคณะพบ ไม่ใช่ความถูกต้อง โมเดลที่เก่งแต่เห็นต่างจากโมเดลที่อ่อนกว่าจึงอาจได้คะแนนต่ำกว่าที่ควรได้

โมเดลส่วนใหญ่แยกแยะได้: มันตอบใช่กับความเชื่อมโยงระหว่างหนึ่งในสี่ถึงสองในสาม และคำตอบของมันมีสัญญาณ Claude Sonnet 5.5 และ DeepSeek V4 Flash เห็นตรงกับคณะผู้พิจารณามากที่สุด โมเดลที่เล็กกว่า เช่น Gemma 3 4B และ Command R7B มีสัญญาณน้อยกว่า Schematron ซึ่งเป็นโมเดลที่สร้างมาเพื่อดึงข้อมูล ไม่ใช่ตัดสินข้อกล่าวอ้าง ตอบว่า “บอกไม่ได้” แทบทุกข้อ และข้อที่มันตอบก็แทบไม่มีสัญญาณ

โมเดลมีมุมมองของตัวเองหรือไม่

ถ้าบทบาทสมมติไม่ได้กำหนดคำตอบ บางทีตัวโมเดลเองอาจมีทฤษฎีเกี่ยวกับปัญหาต่างกัน ตัวหนึ่งโทษกฎระเบียบ อีกตัวโทษการเก็งกำไร หนึ่งในสี่ของความแปรปรวนคือโมเดลที่อ่านความเชื่อมโยงเดียวกันต่างกัน เราจึงมองหาทิศทางของความแตกต่างนั้น: แบบจำลองที่วางโมเดลแต่ละตัวและความเชื่อมโยงแต่ละข้อไว้บนมิติไม่กี่มิติ จากคำตอบของโมเดลในฐานะตัวเอง มิติหนึ่งจะนับก็ต่อเมื่อมันเสถียร กล่าวคือ ถ้าการคำนวณแยกกันบนความเชื่อมโยงสองครึ่งวางโมเดลไว้ในตำแหน่งที่แทบเหมือนกัน

มีหนึ่งมิติที่เสถียร และมันไม่ใช่ทฤษฎี ปลายด้านหนึ่งคือความเชื่อมโยงที่แทบไม่มีเหตุผล เช่น “อพาร์ตเมนต์หรูที่นักลงทุนต่างชาติซื้อ” นำไปสู่ “อเมริกามีผู้อพยพเพิ่มขึ้น 600,000 ถึง 1.2 ล้านคนต่อปี” ซึ่งโมเดลที่อ่อนกว่ายอมรับ อีกปลายหนึ่งคือกลไกที่สอดคล้องกันหนึ่งเดียว คือคะแนนเสียงของผู้อยู่อาศัยและผลประโยชน์ของผู้ที่ครองอยู่เดิมทำให้อุปทานถูกจำกัด ซึ่งโมเดลที่เก่งกว่ายอมรับทั้งหมด มิตินี้คือความสามารถในการตัดสินของโมเดล: โมเดลที่เก่งอยู่ใกล้กัน และโมเดลที่อ่อนแต่ละตัวแยกออกไปในแบบของตัวเอง

ในบรรดาโมเดลที่เก่งกว่าสิบเอ็ดตัว เมื่อคำนวณบนความเชื่อมโยง 120 ข้อของการศึกษา ไม่มีอะไรเสถียร นั่นเพราะความเชื่อมโยงน้อยเกินไป เมื่อคำนวณบนความเชื่อมโยงทั้ง 870 ข้อของห้อง ซึ่งโมเดลสิบเอ็ดตัวเดิมตอบในฐานะตัวเอง ความแตกต่างก็ปรากฏ และมันเสถียร: เมื่อคำนวณแยกกันบนความเชื่อมโยงสองครึ่ง โมเดลไปอยู่ในตำแหน่งที่เกือบเหมือนเดิม (0.89)

ที่ปลายด้านหนึ่ง โมเดลยอมรับความเชื่อมโยงจากผลประโยชน์ของผู้คนไปสู่การตัดสินใจทางการเมือง: ส่วนได้เสียของเจ้าของบ้านในราคาที่สูงขึ้นนำไปสู่การเปลี่ยนแปลงที่ต่อต้านอุปทานของรัฐบาล คะแนนเสียงของผู้อยู่อาศัยนำไปสู่ Proposition 13 Gemini 3.5 Flash, Claude Sonnet 5.5, Nex และ DeepSeek อยู่ตรงนั้น ที่ปลายอีกด้าน โมเดลยอมรับความเชื่อมโยงจากอุปสรรคเข้าสู่กลไกอุปทาน: กฎระเบียบ ผลประโยชน์ของผู้ที่ครองอยู่เดิม สภาท้องถิ่นที่ปฏิเสธแฟลตราคาถูก และสิทธิในทรัพย์สิน แต่ละข้อนำไปสู่ “ที่อยู่อาศัยที่มากขึ้นทำให้ราคาลดลง” Mistral Small, Ministral 8B, Laguna และ Qwen อยู่ตรงนั้น โดยคร่าวๆ ด้านหนึ่งอธิบายที่อยู่อาศัยผ่านว่าใครได้ประโยชน์ทางการเมือง อีกด้านผ่านว่าอะไรขวางอุปทาน การตีความนั้นเป็นของเรา จากความเชื่อมโยงที่ปลายแต่ละด้าน มิติที่สองวางโมเดล GPT-OSS ทั้งสองไว้ที่ปลายด้านหนึ่ง แต่ความเชื่อมโยงของมันไม่มีหัวข้อร่วมที่เราระบุได้

ความแปรปรวนสอดคล้องกัน ในบรรดาโมเดลที่เก่งกว่าสิบเอ็ดตัว ตัวความเชื่อมโยงเองอธิบายได้ 68% เทียบกับ 52% เมื่อมีโมเดลทั้ง 21 ตัว และการอ่านเฉพาะตัวของโมเดลลดลงจาก 24% เหลือ 8%: ราวสองในสามของสิ่งที่ดูเหมือนการอ่านที่แตกต่างกันมาจากโมเดลที่อ่อนกว่า ส่วนที่เหลือเล็กกว่า แต่มันคือความแตกต่างที่สม่ำเสมอข้างต้น

สิ่งนี้มีความหมายอย่างไรต่อ True Causes

คณะผู้พิจารณาที่เป็นโมเดลให้การตัดสินได้ โดยมีมุมมองในช่วงแคบ บทบาทสมมติไม่ได้เพิ่มมุมมองใด โมเดลที่เก่งเห็นตรงกันในความเชื่อมโยงส่วนใหญ่ และต่างกันอย่างสม่ำเสมอในส่วนที่เหลือ ตามเส้นแบ่งระหว่างคำอธิบายเชิงการเมืองกับเชิงอุปทาน นั่นคือช่วงหนึ่ง แต่เป็นช่วงแคบ ซึ่งกำหนดโดยวิธีที่โมเดลถูกฝึก: ไม่ใช่ช่วงของมุมมองที่คนซึ่งมีประสบการณ์ต่างกันจะนำมา งานวิจัยเรื่องโมเดลที่สรุปการปรึกษาหารือก็ชี้ไปทางเดียวกัน: บทสรุปให้น้ำหนักจุดยืนของเสียงข้างน้อยน้อยเกินไป ในโมเดล 18 ตัว (Zhu et al., 2025) และข้อความที่เขียนเพื่อหาฉันทามติอาจได้รับความเห็นด้วยเพราะน้ำเสียงมากกว่าเนื้อหา (Tsai et al., 2024) ใน True Causes โมเดลไม่ได้พูดแทนห้อง มันเขียนหรือตัดสินความเชื่อมโยงทีละข้อ ทุกการตัดสินถูกนับ และเสียงแตกยังอยู่บนแผนผังในฐานะเสียงแตก

การเลือกคณะผู้พิจารณาคือเรื่องคุณภาพก่อน แล้วจึงเป็นความสมดุล ความแตกต่างที่ใหญ่ที่สุดระหว่างโมเดลคือความสามารถในการตัดสิน คณะผู้พิจารณาจึงควรเป็นโมเดลที่เก่ง และตัดโมเดลที่อ่อนออก ในบรรดาโมเดลที่เก่ง แต่ละตระกูลเอนไปคนละทาง คณะผู้พิจารณาจึงควรดึงจากหลายตระกูล และไม่ควรมีตระกูลใดมากกว่าตระกูลอื่นรวมกัน

โมเดลควรถูกคัดกรองก่อนได้ที่นั่ง โมเดลที่ตอบใช่ทุกข้อ ไม่ทุกข้อ หรือ “บอกไม่ได้” ทุกข้อ เพิ่มสัญญาณรบกวนให้ทุกคู่ที่มันตัดสิน การปรับเทียบสั้นๆ ด้วยความเชื่อมโยงที่รู้คำตอบอยู่แล้วหาโมเดลเหล่านี้เจอ

ไม่ควรใช้บทบาทสมมติในการตัดสิน มันเพิ่มการงดตอบและภาพเหมารวมเรื่องสถานะ แต่ไม่ได้เพิ่มความหลากหลายของการตัดสิน การเขียนเป็นอีกคำถามหนึ่ง ห้องของโมเดลที่มีบทบาทสมมติเขียนการ์ดได้หลากหลาย แต่โมเดลต่างกันก็เขียนต่างกัน และโมเดลเดียวกันก็เขียนต่างกันทุกครั้งที่ถูกถาม การ์ดที่หลากหลายอย่างเดียวจึงไม่ได้แสดงว่าบทบาทสมมติทำอะไร การทดสอบคือแบบเดียวกับที่ใช้ที่นี่สำหรับการตัดสิน: โมเดลชุดเดิมเขียนสาเหตุทั้งแบบมีและไม่มีบทบาทสมมติ แล้วนับสาเหตุที่แตกต่างกันที่แต่ละแบบสร้างขึ้น

ห้องของคนนั้นต่างออกไป คนหนึ่งคนนำสิ่งที่ตนเคยเห็นมา ไม่ใช่คำบรรยายถึงใครสักคนที่อาจเคยเห็น การศึกษานี้ไม่ได้ค้านเรื่องนั้นเลย มันบอกว่าโมเดลที่ถูกบอกว่าเป็นผู้เช่าไม่เคยใช้ชีวิตเป็นผู้เช่า ในเมื่อเป้าหมายคือการหาว่าผู้คนเห็นต่างกันในเรื่องใด มีแต่คนเท่านั้นที่ให้สิ่งนั้นได้ ในห้องเหล่านั้น โมเดลมีประโยชน์ในการถามมากกว่าการตอบ: คำถามเกี่ยวกับการ์ดหนึ่งใบ ทีละข้อ และไม่มีมุมมองของตัวเอง (ถ้าข้อนี้จริง คุณจะเห็นอะไร อะไรเกิดขึ้นระหว่างนั้น) ช่วยให้ผู้เขียนทำให้สาเหตุชัดเจน โดยไม่ยัดคำพูดของโมเดลใส่ปากเขา

ข้อจำกัด

คำถามเดียว คือเรื่องที่อยู่อาศัย ความเชื่อมโยง 120 ข้อ บทบาทสมมติสี่หรือห้าแบบต่อโมเดล แต่ละแบบตอบครั้งเดียว ผลที่เล็กกว่าที่การออกแบบนี้มองเห็นได้จะไม่ปรากฏ บทบาทสมมติถูกเขียนเป็นคำบรรยายบทบาท วิธีกระตุ้นบทบาทที่แรงกว่า เช่น การให้โมเดลให้เหตุผลในบทบาทก่อนตอบ อาจขยับมันได้มากกว่า พร้อมกับความเสี่ยงที่จะกลายเป็นภาพล้อเลียน (Cheng et al., 2023) ค่าความให้ข้อมูลวัดความเห็นตรงกันกับคณะผู้พิจารณา ไม่ใช่ความจริง และโมเดลที่ใช้เป็นผู้ตัดสินการปรึกษาหารือเห็นตรงกับคนได้น้อยกว่าที่หวัง (Zhu et al., 2025): คณะผู้พิจารณาที่เห็นตรงกับตัวเองก็ยังผิดไปในทิศทางเดียวกันได้ ความแตกต่างระหว่างโมเดลที่เก่งปรากฏเฉพาะเมื่อใช้ความเชื่อมโยงทั้ง 870 ข้อ เมื่อใช้ 120 ข้อมองไม่เห็นเลย ความแตกต่างที่เล็กกว่านั้นจึงอาจยังมองไม่เห็น และคำถามที่มีข้อโต้แย้งมากกว่าเรื่องที่อยู่อาศัยอาจแบ่งโมเดลออกจากกันมากขึ้น

เอกสารอ้างอิง

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

รับคำถามไปทำ → · บันทึกเพิ่มเติม