บันทึก · หลักฐาน
True Causes ผ่านการทดสอบในการจำลองก่อนที่จะมีใครใช้งาน: เทียบกับคำตอบที่รู้อยู่แล้ว และเทียบกับที่นั่งที่ลงคะแนนเป็นกลุ่มก้อน ตัวเลขทุกตัวในหน้านี้มาจากการจำลองเหล่านั้น ซึ่งมาพร้อมกับซอฟต์แวร์และรันซ้ำได้ในไม่กี่นาที ข้อกล่าวอ้างที่เราทำซ้ำไม่ได้จะไม่อยู่ในหน้านี้
องค์กรจำลองที่มีปัญหายี่สิบข้อ ห้าข้อในนั้นเป็นสาเหตุที่ลึกจริงๆ คนสิบห้าคนทำงานกับมันสองร้อยครั้งต่อแถว โดยตัดสินแต่ละคู่แบบที่ True Causes ทำ: คนละหนึ่งเสียง ตัดสินที่ 75% ของคะแนนเสียงที่ลง เพราะเป็นการจำลอง เราจึงรู้คำตอบที่ถูก และนับได้ว่าแต่ละวิธีได้สาเหตุทั้งห้านั้นมากี่ข้อ — นี่คือวิธีเดียวที่ซื่อตรงในการให้คะแนนกระบวนการ เพราะไม่มีห้องจริงใดมีเฉลย
| ห้องจัดอันดับตามสิ่งที่เจ็บในวันนี้ | หยุดที่การลงคะแนน | ทำต่อและสร้างแผนผัง | แผนผัง พร้อมที่นั่งที่กันไว้ให้หลักฐาน |
|---|---|---|---|
| ไม่เลย | 3.1 จาก 5 | 3.9 จาก 5 | 4.1 จาก 5 |
| เล็กน้อย | 2.4 จาก 5 | 3.8 จาก 5 | 4.1 จาก 5 |
| เป็นส่วนใหญ่ | 0.8 จาก 5 | 3.4 จาก 5 | 4.0 จาก 5 |
| แทบทั้งหมด | ไม่มีเลย | 0.2 จาก 5 | 3.3 จาก 5 |
อ่านแถวล่างสุด เมื่อห้องจัดอันดับตามความรู้สึกล้วนๆ การลงคะแนนระบุสาเหตุจริงไม่ได้เลยสักข้อจากห้าข้อ และการสร้างแผนผังต่อจากนั้นกู้คืนได้เพียง 0.2 — สาเหตุที่ตกไปตอนลงคะแนนกู้คืนในภายหลังไม่ได้ คอลัมน์สุดท้ายคือทางแก้: กันที่ในรายชื่อคัดเลือกไว้ห้าที่ให้ความคิดที่ถูกมองข้ามแต่มีแหล่งที่มารองรับ แล้วห้องจะพบ3.3 จาก 5 แม้ในกรณีที่แย่ที่สุด และอ่านแถวบนสุด: แม้แต่ห้องที่ไม่มีจุดบอดเลยก็พบได้มากกว่าเมื่อทำแผนผังแทนการลงคะแนน คือ 3.9 เทียบกับ 3.1 เพราะคำถามทีละคู่ที่ 75% เป็นเครื่องมือที่ดีกว่าการจัดอันดับ
ขนาดกลุ่มสำคัญน้อยกว่าความรอบคอบ เมื่อผู้คนรอบคอบเท่ากับข้างต้น คณะผู้พิจารณาขนาดห้าถึงห้าสิบคนล้วนพบสาเหตุได้ระหว่าง 4.0 ถึง 4.5 จากห้าข้อ คณะที่ใหญ่กว่าทิ้งคู่ที่มีข้อโต้แย้งไว้น้อยกว่า แต่สมาชิกทุกคนต้องตอบทุกคู่ ห้องถูกแบ่งเป็นกลุ่มละประมาณสิบห้าคน เพราะคนสิบห้าคนอ่านบอร์ดเดียวและตอบคู่ของบอร์ดนั้นได้ในการนั่งครั้งเดียว ไม่ใช่เพราะตัวเลขสูงสุดที่ตรงนั้น
มีหน้าผาอยู่ และมันเป็นเรื่องของมนุษย์ เมื่อผู้คนตอบผิดหนึ่งในห้าของความเชื่อมโยงที่มีอยู่จริง และหนึ่งในสิบของคู่ที่ไม่มีความเชื่อมโยง กลุ่มสิบห้าคนยังพบสาเหตุได้ 4.0 จาก 5 ข้อ เมื่อตอบผิดหนึ่งในสามคำถาม 78% ของคู่ไม่เคยได้ข้อยุติ และแผนผังระบุได้ 2.9 ข้อ ส่วนใหญ่มาจากคู่ไม่กี่คู่ที่ได้ข้อยุติ การสุ่มเลือกการ์ดห้าใบจะระบุได้ 1.25 ข้อ เจ็ดสิบห้าเปอร์เซ็นต์รับความผิดพลาดที่กระจัดกระจายได้ แต่รับห้องที่ผิดเป็นส่วนใหญ่ไม่ได้ นี่คือเหตุผลที่คำถามหนึ่งข้อถูกส่งให้คณะผู้พิจารณาทั้งคณะในคราวเดียว แทนที่จะส่งห้าสิบคำถามให้คนคนเดียว
คำตอบบางข้อได้มาฟรี ถ้ากลุ่มเห็นตรงกันแล้วว่า A ส่งผลต่อ B และ B ส่งผลต่อ C ก็ไม่ต้องถามใครเรื่อง A กับ C — สรุปได้เองอยู่แล้ว เมื่อแต่ละคนมีหนึ่งเสียง ทางลัดนี้ช่วยได้ไม่มาก: มันตัดคำถามออกไป 1–3% เพราะความเชื่อมโยงได้ข้อยุติที่ 75% เท่านั้น และจากการทดลองแบบจับคู่ 800 ครั้ง มันไม่ทำให้ความแม่นยำลดลงเลย
การ์ดซ้ำเสียเวลา แต่ไม่เสียสาเหตุ ให้เสียงบ่นห้าข้อที่เห็นชัดที่สุดอยู่บนบอร์ดข้อละสามใบ ด้วยถ้อยคำต่างกัน เพราะการ์ดทุกใบที่ได้สติกเกอร์จะถูกนำไปจัดโครงสร้าง จึงไม่มีสาเหตุจริงใดเสียที่ไป: ห้องยังพบได้ 4.0 จากห้าข้อ แต่ห้องต้องตอบ 830 คู่แทนที่จะเป็น 380 การรวมการ์ดซ้ำคือสิ่งที่ทำให้ขั้นของคู่สั้น
องค์กรจำลองเดิม ปัญหายี่สิบข้อ สาเหตุจริงห้าข้อ คนสิบห้าคนตัดสินแต่ละคู่ที่ 75% ของคะแนนเสียงที่ลง บางที่นั่งลงคะแนนเป็นกลุ่มก้อน: ตอบตามจริงทุกที่ ยกเว้นตรงที่ความจริงทำร้ายสาเหตุหนึ่ง — แบบที่มองเห็นยากที่สุด แบบที่เอเจนต์ AI จะเล่น ห้องสามสิบคนรันตามที่มันถูกสร้างจริง: ทุกคนเขียนบนบอร์ดเดียว ผู้คนถูกแบ่งเป็นสองกลุ่มด้วยการจับฉลาก การ์ดแต่ละใบไปอยู่ในกลุ่มของผู้เขียน แต่ละกลุ่มจัดโครงสร้างบอร์ดของตัวเอง คำถามที่หาข้อยุติไม่ได้ไปยังอีกกลุ่ม และรอบเชื่อมโยงถามสาเหตุรากของแต่ละกลุ่มเทียบกับของอีกกลุ่ม ตัวเลขทุกตัวด้านล่างมาจากห้องจำลองสองร้อยห้องในการตั้งค่านั้น
| ที่นั่งที่ค้านสาเหตุหนึ่ง | สาเหตุที่ระบุได้ | เป้าหมายอยู่ในห้าอันดับแรก | ถูกตั้งข้อสังเกต |
|---|---|---|---|
| ไม่มี | 4.1 จาก 5 | 79% | 4% |
| สองจากสิบห้า | 3.9 จาก 5 | 62% | 78% |
| สามจากสิบห้า | 3.8 จาก 5 | 43% | 98% |
| สี่จากสิบห้า | 3.7 จาก 5 | 34% | 99% |
| หกจากสิบห้า — ถูกยึด | 3.6 จาก 5 | 30% | 35% |
| ไม่มีจากสามสิบ สองกลุ่ม | 4.6 จาก 5 | 94% | 2% |
| สี่จากสามสิบ สองกลุ่ม | 4.5 จาก 5 | 90% | 28% |
| แปดจากสามสิบ สองกลุ่ม | 4.2 จาก 5 | 63% | 54% |
เสียงข้างน้อยเพิ่มความเชื่อมโยงไม่ได้ แต่กดสาเหตุหนึ่งให้ลงไปในแผนผังได้: สองที่นั่งในสิบห้ากันมันออกจากห้าอันดับที่ลึกที่สุดได้มากกว่าหนึ่งในสามของครั้ง สี่ที่นั่งได้สองในสามครั้ง และส่วนที่เหลือของแผนผังดูปกติดี แต่ที่นั่งชุดเดียวกันนั้นจะกลายเป็นเสียงข้างน้อยในทุกคู่ที่เกี่ยวกับสาเหตุนั้น และบันทึกจะตั้งข้อสังเกตไว้ — 78–99% ของห้องที่มีกลุ่มก้อนแบบนี้ และ 4% ของห้องที่ซื่อตรง โดยเป็นจำนวน ไม่เคยเป็นชื่อ หกที่นั่งยึดกลุ่มได้ทั้งกลุ่ม และเมื่อนั้นรูปแบบนี้ก็พบบ่อยเกินกว่าจะโดดเด่นออกมา ทางแก้คือแถวท้ายๆ: ในห้องสามสิบคน กลุ่มก้อนถูกแยกด้วยการจับฉลาก และคำถามที่หาข้อยุติไม่ได้ไปยังอีกกลุ่ม สี่ที่นั่งจึงทิ้งสาเหตุไว้ที่เดิมได้เก้าในสิบครั้ง
ไม่มีสคริปต์ใดใช้ได้ คู่ต่างๆ ยังไม่มีอยู่จนกว่าการลงคะแนนจะปิด ทุกที่นั่งจึงต้องอ่านและตอบเหมือนที่นั่งอื่น อย่างน้อยสามวินาทีต่อคู่ สิ่งนี้หยุดการรีบตอบได้ แต่หยุด AI ไม่ได้ สิ่งที่ AI หามาให้ไม่ได้คือคนที่รับรองมัน
ห้องต้องได้รับการรับรอง ห้องเปิดได้ฟรี ห้องปลอมจึงอาจลงคะแนนชนะห้องจริงบนแผนผังร่วมได้ คำตัดสินของห้องจะนับก็ต่อเมื่อห้องนั้นเป็นขององค์กรที่ยืนยันแล้ว มีผู้ดูแลห้องที่ระบบไว้วางใจ หรือได้รับการรับรองจากห้องที่นับอยู่แล้ว — และหนึ่งชื่อคือหนึ่งเสียงที่นับต่อคำถาม ไม่ว่าจะเปิดกี่ห้อง ทุกห้องยังแสดงอยู่บนแผนผังที่รวมแล้ว โดยมีเครื่องหมายว่านับหรือยังไม่ยืนยัน ผู้อ่านจึงเห็นเสมอว่าใครพูด และคำตัดสินของใครมีน้ำหนัก ในการจำลอง — ห้องจริงห้าห้องปะทะห้องปลอมห้าห้อง — กฎนี้ทำให้สาเหตุจริงเปลี่ยนจากอยู่รอดใน 69 จาก 100 การทดลอง เป็นอยู่รอดครบทั้ง 100
การซ่อนจำนวนช่วยได้เล็กน้อย เมื่อหนึ่งในสามถึงครึ่งหนึ่งของผู้คนจะลอกตามสิ่งที่นำอยู่ การแสดงจำนวนสติกเกอร์ระหว่างลงคะแนนทำให้ห้องเสียสาเหตุไปราวหนึ่งในห้าข้อ: พบ 4.0 จากห้าข้อ เทียบกับ 4.2 เมื่อซ่อนจำนวน ที่นั่งสำหรับหลักฐานจับสิ่งที่ฝูงชนพลาดได้เกือบทั้งหมด จำนวนยังถูกซ่อนไว้เพราะวิธีการนี้ลงคะแนนอย่างเงียบๆ
ผู้คนต้องรอบคอบแค่ไหน ถ้าแต่ละคนตอบคู่ที่ยากถูกสี่ในห้าครั้ง และคู่ที่ง่ายถูกเก้าในสิบครั้ง กลุ่มหนึ่งจะกู้สาเหตุจริงได้ 4.1 จากห้าข้อ และห้องที่มีสองกลุ่มได้ 4.6 ถ้าผู้คนผิดสามในสิบครั้ง 70% ของคู่จะไม่เคยได้ข้อยุติ และแผนผังก็เป็นแค่การเดา คู่ที่กลุ่มหนึ่งตกลงกันไม่ได้จึงไม่ถูกส่งกลับไปให้คนกลุ่มเดิม: แต่ละฝ่ายเขียนหนึ่งประโยคว่าอะไรจะสูญเสียไปถ้าอีกฝ่ายชนะ เผยแพร่โดยไม่ระบุชื่อไว้ข้างคู่นั้น และคู่นั้นจะไปยังอีกกลุ่ม ซึ่งอ่านประโยคเหล่านั้นแล้วตอบใหม่ทั้งหมด