БЕЛЕЖКИ · ДОКАЗАТЕЛСТВА
True Causes беше изпитан в симулация, преди някой да го използва: срещу известен отговор и срещу места, които гласуват като блок. Всяко число на тази страница идва от тези симулации, които вървят заедно със софтуера и могат да се пуснат отново за няколко минути. Твърдение, което не можем да възпроизведем, не е на тази страница.
Симулирана организация с двадесет проблема, пет от които наистина са дълбоките причини. Петнадесет души работят по тях, по двеста пъти за всеки ред, и решават всяка двойка така, както прави True Causes: по един глас на човек, решение при 75% от подадените гласове. Понеже това е симулация, знаем верния отговор и можем да преброим колко от тези пет причини открива накрая всеки метод — единственият честен начин да се оцени процесът, тъй като никоя истинска стая няма ключ с отговорите.
| Стаята подрежда по това, което боли днес | Спиране при гласуването | Продължаване и изграждане на картата | Карта със запазени места за доказателства |
|---|---|---|---|
| изобщо не | 3,1 от 5 | 3,9 от 5 | 4,1 от 5 |
| малко | 2,4 от 5 | 3,8 от 5 | 4,1 от 5 |
| до голяма степен | 0,8 от 5 | 3,4 от 5 | 4,0 от 5 |
| почти изцяло | нито една | 0,2 от 5 | 3,3 от 5 |
Прочетете долния ред. Когато стаята подрежда само според това, което чувства, гласуването не назовава нито една от петте истински причини, а изграждането на карта върху него спасява само 0,2 — причина, отпаднала при гласуването, не може да бъде възстановена по-късно. Последната колона е решението: запазете пет места в краткия списък за пренебрегнати идеи, подкрепени с източник, и стаята открива 3,3 от 5 в най-лошия случай. И прочетете горния ред: дори стая без никакво сляпо петно открива повече чрез картографиране, отколкото чрез гласуване, 3,9 срещу 3,1, защото въпросът за двойката при 75% е по-добър инструмент от класирането.
Размерът на групата има по-малко значение от внимателността. С хора, толкова внимателни, колкото по-горе, панели от пет до петдесет души откриват между 4,0 и 4,5 от петте причини; по-големият панел оставя по-малко спорни двойки, но всеки член отговаря за всяка двойка. Стаята се разделя на групи от около петнадесет души, защото петнадесет души могат да прочетат една стена и да отговорят за двойките ѝ на едно заседание, а не защото числата достигат връх там.
Има праг и той е човешки. Когато хората бъркат едно истинско влияние от пет и едно несъществуващо от десет, група от петнадесет души пак открива 4,0 от петте причини. Когато бъркат един въпрос от три, 78% от двойките така и не се решават и картата назовава 2,9, предимно от малкото двойки, които са решени; случаен избор на пет карточки би назовал 1,25. Седемдесет и пет процента могат да поемат разпилени грешки, но не и стая, която в по-голямата си част греши. Затова един въпрос се задава на цял панел наведнъж, а не петдесет въпроса на един човек.
Някои отговори идват даром. Ако групата е решила, че A влияе на B и B влияе на C, никого не е нужно да питат за A и C — това вече следва. При един глас на човек този пряк път е малък: премахва 1–3% от въпросите, защото връзката се решава едва при 75%, а при 800 сдвоени изпълнения не струваше никаква точност.
Дубликатите струват време, а не причини. Нека всяко от петте най-видими оплаквания стои на стената като три различно формулирани карточки. Понеже всяка карточка със стикер се структурира, никоя истинска причина не губи мястото си: стаята пак открива 4,0 от петте. Но стаята отговаря за 830 двойки вместо за 380. Обединяването на дубликатите е онова, което държи етапа на двойките кратък.
Същата симулирана организация, двадесет проблема, пет истински причини. Петнадесет души решават всяка двойка при 75% от подадените гласове. Някои места гласуват като блок: честно навсякъде, освен там, където истината вреди на една причина — най-трудният за забелязване вариант, онзи, който би играл AI агент. Стая от тридесет души се провежда така, както е изградена: всички пишат на една стена, хората се разпределят в две групи чрез жребий, всяка карточка отива в групата на автора си, всяка група структурира своята стена, двойката в безизходица отива при другата група, а свързващ рунд пита за корените на всяка група спрямо тези на другата. Всяко число по-долу е от двеста симулирани стаи при тази настройка.
| места срещу една причина | назовани причини | целта в първите пет | отбелязани |
|---|---|---|---|
| няма | 4,1 от 5 | 79% | 4% |
| две от петнадесет | 3,9 от 5 | 62% | 78% |
| три от петнадесет | 3,8 от 5 | 43% | 98% |
| четири от петнадесет | 3,7 от 5 | 34% | 99% |
| шест от петнадесет — превзета | 3,6 от 5 | 30% | 35% |
| нито едно от тридесет, две групи | 4,6 от 5 | 94% | 2% |
| четири от тридесет, две групи | 4,5 от 5 | 90% | 28% |
| осем от тридесет, две групи | 4,2 от 5 | 63% | 54% |
Малцинството не може да добави връзка. То може да избута една причина надолу по картата: две места от петнадесет я държат извън петте най-дълбоки повече от една трета от времето, четири места — два пъти от три, а останалата част от картата изглежда наред. Но същите места се оказват в малцинство при всяка двойка, която засяга тази причина, и записът отбелязва това — 78–99% от стаите с такъв блок и 4% от честните, като брой, никога като име. Шест места превземат група изцяло и тогава моделът е твърде обичаен, за да се открои. Лекът е в последните редове: в стая от тридесет души блокът се разделя чрез жребий, а двойката в безизходица отива при другата група, така че при четири места причината остава на мястото си девет пъти от десет.
Никой скрипт не работи. Двойките не съществуват, докато гласуването не се затвори, така че всяко място трябва да чете и да отговаря като всяко друго, с минимум три секунди на двойка. Това спира бързането, но не и AI. Онова, което AI не може да осигури, е човек, който да гарантира за него.
За стаите трябва да има гаранция. Стаите се откриват безплатно, така че изфабрикувани стаи биха могли да надгласуват истинските на общата карта. Вердиктите на една стая се броят само когато тя принадлежи на потвърдена организация, има водещ, на когото инсталацията има доверие, или за нея е гарантирала стая, която вече се брои — а едно име е един преброен глас за въпрос, колкото и стаи да открие. Всяка стая пак се показва на обединената карта, отбелязана като преброена или непотвърдена, така че читателят винаги вижда кой е говорил и чии вердикти са тежали. В симулация — пет истински стаи срещу пет изфабрикувани — правилото повишава оцеляването на истинска причина от 69 изпълнения от 100 до всичките 100.
Скритите бройки помагат малко. Когато между една трета и половината от хората биха копирали онова, което води, показването на бройките стикери по време на гласуването струва на стаята около една пета от причина: 4,0 от петте открити срещу 4,2 при скрити бройки. Местата за доказателства хващат повечето от онова, което тълпата пропуска; бройките остават скрити, защото методът гласува в тишина.
Колко внимателни трябва да са хората. Ако всеки човек отговаря вярно за трудните двойки четири пъти от пет, а за лесните девет пъти от десет, една група открива 4,1 от петте истински причини, а стая от две групи — 4,6. Ако хората грешат три пъти от десет, 70% от двойките така и не се решават и картата е гадаене. Затова двойка, за която групата не може да се съгласи, не се връща на същите хора: всяка страна пише по едно изречение за това какво би се загубило, ако другата страна спечели, публикувано без име до двойката, а двойката отива при друга група, която ги прочита и отговаря наново.