GHI CHÚ · BẰNG CHỨNG
True Causes đã được kiểm nghiệm bằng mô phỏng trước khi có ai dùng: đối chiếu với một đáp án đã biết, và chống lại những ghế bỏ phiếu theo khối. Mọi con số trên trang này đều đến từ các mô phỏng đó, vốn đi kèm phần mềm và có thể chạy lại trong vài phút. Một nhận định mà chúng tôi không tái tạo được sẽ không có trên trang này.
Một tổ chức mô phỏng có hai mươi vấn đề, trong đó năm vấn đề thực sự là nguyên nhân sâu xa. Mười lăm người làm qua nó, hai trăm lần cho mỗi hàng, quyết định từng cặp theo cách True Causes làm: mỗi người một phiếu, chốt ở mức 75% số phiếu đã bỏ. Vì đây là mô phỏng nên chúng tôi biết đáp án đúng, nhờ đó có thể đếm xem mỗi phương pháp cuối cùng có được bao nhiêu trong năm nguyên nhân ấy — cách trung thực duy nhất để chấm điểm một quy trình, vì không phòng thật nào có đáp án.
| Phòng xếp hạng theo điều gây đau hôm nay | Dừng ở bước bỏ phiếu | Tiếp tục và xây bản đồ | Bản đồ, có chỗ dành cho bằng chứng |
|---|---|---|---|
| hoàn toàn không | 3.1 trên 5 | 3.9 trên 5 | 4.1 trên 5 |
| một chút | 2.4 trên 5 | 3.8 trên 5 | 4.1 trên 5 |
| phần lớn | 0.8 trên 5 | 3.4 trên 5 | 4.0 trên 5 |
| gần như hoàn toàn | không có | 0.2 trên 5 | 3.3 trên 5 |
Hãy đọc hàng cuối. Khi một phòng xếp hạng hoàn toàn theo cảm nhận, trong năm nguyên nhân thật, số nguyên nhân mà cuộc bỏ phiếu chỉ ra được bằng không, và xây bản đồ bên trên chỉ cứu lại được 0.2 — một nguyên nhân bị loại ở lá phiếu không thể khôi phục sau đó. Cột cuối là cách khắc phục: giữ năm chỗ trong danh sách rút gọn cho các ý tưởng bị bỏ qua có nguồn hỗ trợ, và phòng tìm ra 3.3 trên 5 ngay cả ở mức tệ nhất. Và hãy đọc hàng đầu: ngay cả một phòng không có điểm mù nào cũng tìm ra nhiều hơn khi lập bản đồ so với khi bỏ phiếu, 3.9 so với 3.1, vì một câu hỏi theo cặp ở mức 75% là công cụ tốt hơn một bảng xếp hạng.
Cỡ nhóm ít quan trọng hơn sự cẩn thận. Khi mọi người cẩn thận như ở trên, các hội đồng từ năm đến năm mươi người đều tìm ra từ 4.0 đến 4.5 trong năm nguyên nhân; hội đồng lớn hơn để lại ít cặp còn tranh cãi hơn, nhưng thành viên nào cũng phải trả lời mọi cặp. Một phòng được chia thành các nhóm khoảng mười lăm người vì mười lăm người có thể đọc một bảng và trả lời các cặp của nó trong một buổi, chứ không phải vì các con số đạt đỉnh ở đó.
Có một ngưỡng sụp đổ, và nó nằm ở con người. Khi mọi người nhận định sai một trong năm ảnh hưởng có thật, và một trong mười cặp không có ảnh hưởng nào, một nhóm mười lăm người vẫn tìm ra 4.0 trong 5 nguyên nhân. Khi họ sai một trong ba câu hỏi, 78% số cặp không bao giờ ngã ngũ và bản đồ chỉ ra 2.9, phần lớn nhờ vài cặp hiếm hoi đã ngã ngũ; chọn ngẫu nhiên năm thẻ thì được 1.25. Mức bảy mươi lăm phần trăm có thể hấp thụ những sai sót rải rác, chứ không hấp thụ được một phòng mà phần lớn đều sai. Đó là lý do mỗi lần một câu hỏi được đưa cho cả hội đồng, thay vì năm mươi câu hỏi cho một người.
Một số câu trả lời có sẵn miễn phí. Nếu nhóm đã đồng ý rằng A ảnh hưởng đến B và B ảnh hưởng đến C, không cần hỏi ai về A và C — điều đó đã suy ra được. Khi mỗi người một phiếu, lối tắt này nhỏ: nó chỉ bỏ được 1–3% số câu hỏi, vì một liên kết chỉ được chốt ở mức 75%, và qua 800 lần chạy ghép cặp, nó không làm giảm độ chính xác chút nào.
Thẻ trùng lặp tốn thời gian, không làm mất nguyên nhân. Để năm lời phàn nàn dễ thấy nhất, mỗi lời nằm trên bảng dưới dạng ba thẻ diễn đạt khác nhau. Vì mọi thẻ có nhãn dán đều được cấu trúc hóa, không nguyên nhân thật nào mất chỗ: phòng vẫn tìm ra 4.0 trong năm. Nhưng phòng phải trả lời 830 cặp thay vì 380. Gộp các thẻ trùng là cách giữ cho bước trả lời cặp được ngắn gọn.
Cùng tổ chức mô phỏng, hai mươi vấn đề, năm nguyên nhân thật. Mười lăm người quyết định từng cặp ở mức 75% số phiếu đã bỏ. Một số ghế bỏ phiếu theo khối: trung thực ở mọi chỗ, trừ chỗ sự thật gây hại cho một nguyên nhân — phiên bản khó nhận ra nhất, phiên bản mà một tác tử AI sẽ chơi. Một phòng ba mươi người được mô phỏng đúng như cách nó được dựng: mọi người viết lên cùng một bảng, mọi người được chia vào hai nhóm bằng bốc thăm, mỗi thẻ thuộc về nhóm của người viết, mỗi nhóm cấu trúc hóa bảng của riêng mình, một bế tắc được chuyển sang nhóm kia, và một vòng nối hỏi các nguyên nhân gốc của mỗi nhóm đối chiếu với các nguyên nhân gốc của nhóm kia. Mỗi con số dưới đây là hai trăm phòng mô phỏng ở thiết lập đó.
| số ghế chống lại một nguyên nhân | nguyên nhân được chỉ ra | mục tiêu trong top năm | bị đánh dấu |
|---|---|---|---|
| không có | 4.1 trên 5 | 79% | 4% |
| hai trên mười lăm | 3.9 trên 5 | 62% | 78% |
| ba trên mười lăm | 3.8 trên 5 | 43% | 98% |
| bốn trên mười lăm | 3.7 trên 5 | 34% | 99% |
| sáu trên mười lăm — bị chiếm quyền | 3.6 trên 5 | 30% | 35% |
| không có trên ba mươi, hai nhóm | 4.6 trên 5 | 94% | 2% |
| bốn trên ba mươi, hai nhóm | 4.5 trên 5 | 90% | 28% |
| tám trên ba mươi, hai nhóm | 4.2 trên 5 | 63% | 54% |
Một thiểu số không thể thêm một cạnh. Nó có thể đẩy một nguyên nhân xuống thấp trên bản đồ: hai ghế trên mười lăm giữ nguyên nhân đó ngoài năm nguyên nhân sâu nhất hơn một phần ba số lần, bốn ghế thì hai lần trên ba, và phần còn lại của bản đồ trông vẫn ổn. Nhưng chính những ghế đó rơi vào thiểu số ở mọi cặp liên quan đến nguyên nhân ấy, và hồ sơ đánh dấu điều đó — 78–99% số phòng có một khối như vậy và 4% số phòng trung thực, dưới dạng một con số đếm, không bao giờ là một cái tên. Sáu ghế chiếm trọn một nhóm, và khi đó dấu hiệu này quá phổ biến để nổi bật. Cách chữa là các hàng cuối: trong một phòng ba mươi người, bốc thăm chia khối ra, và một bế tắc được chuyển sang nhóm kia, nên với bốn ghế nguyên nhân vẫn giữ được vị trí chín lần trên mười.
Không kịch bản tự động nào hiệu quả. Các cặp thẻ chưa tồn tại cho đến khi cuộc bỏ phiếu đóng lại, nên ghế nào cũng phải đọc và trả lời như mọi người khác, tối thiểu ba giây một cặp. Điều đó chặn được việc làm ào ạt, chứ không chặn được AI. Điều mà AI không thể cung cấp là một con người đảm bảo cho nó.
Các phòng phải được đảm bảo. Mở phòng là miễn phí, nên các phòng dựng giả có thể áp đảo phòng thật trên bản đồ chung. Kết luận của một phòng chỉ được tính khi phòng đó thuộc về một tổ chức đã xác minh, có một người điều phối được máy chủ tin cậy, hoặc được một phòng đã được tính đảm bảo cho — và một cái tên là một tiếng nói được tính cho mỗi câu hỏi, dù nó mở bao nhiêu phòng. Mọi phòng vẫn được hiển thị trên bản đồ đã gộp, được đánh dấu là được tính hoặc chưa xác minh, nên người đọc luôn thấy ai đã lên tiếng và kết luận của ai có trọng lượng. Trong mô phỏng — năm phòng thật đối đầu năm phòng dựng giả — quy tắc này đưa một nguyên nhân thật từ chỗ sống sót trong 69 trên 100 lần chạy lên cả 100.
Ẩn số đếm giúp được một chút. Khi từ một phần ba đến một nửa số người sẽ chạy theo bất cứ thứ gì đang dẫn đầu, việc hiện số nhãn dán trong lúc bỏ phiếu làm phòng mất khoảng một phần năm nguyên nhân: tìm ra 4.0 trong năm, so với 4.2 khi ẩn số đếm. Các chỗ dành cho bằng chứng bắt được phần lớn những gì đám đông bỏ sót; số đếm vẫn được ẩn vì phương pháp bỏ phiếu trong im lặng.
Mọi người phải cẩn thận đến mức nào. Nếu mỗi người trả lời đúng các cặp khó bốn lần trên năm và các cặp dễ chín lần trên mười, một nhóm tìm lại được 4.1 trong năm nguyên nhân thật và một phòng gồm hai nhóm tìm lại được 4.6. Nếu mọi người sai ba lần trên mười, 70% số cặp không bao giờ ngã ngũ và bản đồ chỉ là phỏng đoán. Vì vậy một cặp mà một nhóm không thể thống nhất sẽ không được đưa lại cho cùng những người đó: mỗi bên viết một câu về điều sẽ mất nếu bên kia thắng, được công bố không ghi tên cạnh cặp thẻ, và cặp thẻ được chuyển cho một nhóm khác, những người đọc các câu đó và trả lời lại từ đầu.