NOTATKI · DOWODY
True Causes sprawdzono w symulacji, zanim ktokolwiek go użył: wobec znanej odpowiedzi i wobec miejsc głosujących jak jeden blok. Każda liczba na tej stronie pochodzi z tych symulacji, które są dołączone do oprogramowania i można je powtórzyć w kilka minut. Twierdzenia, którego nie potrafimy odtworzyć, nie ma na tej stronie.
Symulowana organizacja z dwudziestoma problemami, z których pięć to rzeczywiście głębokie przyczyny. Piętnaście osób przechodzi przez nią dwieście razy na każdy wiersz, rozstrzygając każdą parę tak jak True Causes: każda osoba ma jeden głos, a para rozstrzyga się przy 75% oddanych głosów. Ponieważ to symulacja, znamy właściwą odpowiedź, więc możemy policzyć, ile z tych pięciu przyczyn każda metoda w końcu wskazuje — to jedyny uczciwy sposób oceny procesu, bo żaden prawdziwy pokój nie ma klucza odpowiedzi.
| Pokój szereguje według tego, co dziś boli | Zatrzymanie na głosowaniu | Dalej, do zbudowania mapy | Mapa z miejscami zarezerwowanymi dla dowodów |
|---|---|---|---|
| wcale | 3.1 z 5 | 3.9 z 5 | 4.1 z 5 |
| trochę | 2.4 z 5 | 3.8 z 5 | 4.1 z 5 |
| głównie | 0.8 z 5 | 3.4 z 5 | 4.0 z 5 |
| niemal wyłącznie | żadnej | 0.2 z 5 | 3.3 z 5 |
Spójrz na dolny wiersz. Gdy pokój szereguje wyłącznie według odczuć, głosowanie nie wskazuje żadnej z pięciu rzeczywistych przyczyn, a zbudowanie na tym mapy ratuje tylko 0.2 — przyczyny odrzuconej przy urnie nie da się później odzyskać. Ostatnia kolumna to rozwiązanie: zatrzymaj pięć miejsc na krótkiej liście dla przeoczonych pomysłów popartych źródłem, a pokój znajduje 3.3 z 5 w najgorszym razie. I spójrz na górny wiersz: nawet pokój bez żadnego martwego pola znajduje więcej przez mapowanie niż przez głosowanie, 3.9 wobec 3.1, bo pytanie o parę przy 75% jest lepszym narzędziem niż ranking.
Wielkość grupy znaczy mniej niż staranność. Przy ludziach tak starannych jak powyżej panele od pięciu do pięćdziesięciu osób znajdują od 4.0 do 4.5 z pięciu przyczyn; większy panel zostawia mniej par spornych, ale każdy członek odpowiada na każdą parę. Pokój dzieli się na grupy po mniej więcej piętnaście osób, bo piętnaście osób może przeczytać jedną tablicę i odpowiedzieć na jej pary podczas jednego posiedzenia, a nie dlatego, że liczby osiągają tam szczyt.
Jest próg, i jest ludzki. Gdy ludzie mylą się przy jednym na pięć rzeczywistych wpływów i przy jednym na dziesięć wpływów nieistniejących, piętnastoosobowa grupa wciąż znajduje 4.0 z 5 przyczyn. Gdy mylą się w jednym pytaniu na trzy, 78% par nigdy się nie rozstrzyga, a mapa wskazuje 2.9, głównie z tych nielicznych par, które się rozstrzygnęły; pięć kart wybranych losowo wskazałoby 1.25. Siedemdziesiąt pięć procent może wchłonąć rozproszone pomyłki, ale nie pokój, który w większości się myli. Dlatego jedno pytanie trafia naraz do całego panelu, a nie pięćdziesiąt pytań do jednej osoby.
Niektóre odpowiedzi są za darmo. Jeśli grupa ustaliła, że A wpływa na B, a B wpływa na C, nikogo nie trzeba pytać o A i C — to już wynika. Przy jednym głosie na osobę ten skrót niewiele daje: usuwa 1–3% pytań, bo powiązanie rozstrzyga się dopiero przy 75%, a w 800 sparowanych przebiegach nie kosztował żadnej dokładności.
Duplikaty kosztują czas, nie przyczyny. Niech każda z pięciu najbardziej widocznych skarg leży na tablicy jako trzy różnie sformułowane karty. Ponieważ każda karta z naklejką jest strukturyzowana, żadna rzeczywista przyczyna nie traci miejsca: pokój wciąż znajduje 4.0 z pięciu. Ale odpowiada na 830 par zamiast 380. Scalanie duplikatów sprawia, że etap par pozostaje krótki.
Ta sama symulowana organizacja, dwadzieścia problemów, pięć rzeczywistych przyczyn. Piętnaście osób rozstrzyga każdą parę przy 75% oddanych głosów. Niektóre miejsca głosują jak jeden blok: uczciwie wszędzie poza tym, gdzie prawda szkodzi jednej przyczynie — wersja najtrudniejsza do zauważenia, taka, jaką rozegrałby agent AI. Pokój trzydziestoosobowy symulujemy tak, jak jest zbudowany: wszyscy piszą na jednej tablicy, ludzie zostają losowo rozdzieleni na dwie grupy, każda karta trafia do grupy swojego autora, każda grupa strukturyzuje własną tablicę, impas trafia do drugiej grupy, a runda łącząca zestawia korzenie każdej grupy z korzeniami drugiej. Każda liczba poniżej to dwieście symulowanych pokojów przy danym ustawieniu.
| miejsca przeciw jednej przyczynie | wskazane przyczyny | cel w pierwszej piątce | oznaczony |
|---|---|---|---|
| żadne | 4.1 z 5 | 79% | 4% |
| dwa z piętnastu | 3.9 z 5 | 62% | 78% |
| trzy z piętnastu | 3.8 z 5 | 43% | 98% |
| cztery z piętnastu | 3.7 z 5 | 34% | 99% |
| sześć z piętnastu — przejęty | 3.6 z 5 | 30% | 35% |
| żadne z trzydziestu, dwie grupy | 4.6 z 5 | 94% | 2% |
| cztery z trzydziestu, dwie grupy | 4.5 z 5 | 90% | 28% |
| osiem z trzydziestu, dwie grupy | 4.2 z 5 | 63% | 54% |
Mniejszość nie może dodać krawędzi. Może zepchnąć jedną przyczynę w dół mapy: dwa miejsca na piętnaście trzymają ją poza pięcioma najgłębszymi w ponad jednej trzeciej przypadków, cztery miejsca w dwóch na trzy, a reszta mapy wygląda dobrze. Ale te same miejsca lądują w mniejszości przy każdej parze dotyczącej tej przyczyny, a zapis to oznacza — w 78–99% pokojów z takim blokiem i w 4% uczciwych, jako liczbę, nigdy jako nazwisko. Sześć miejsc przejmuje grupę całkowicie, a wtedy ten wzorzec jest zbyt częsty, żeby się wyróżniał. Lekarstwem są ostatnie wiersze: w pokoju trzydziestoosobowym losowanie rozbija blok, a impas trafia do drugiej grupy, więc cztery miejsca zostawiają przyczynę na jej miejscu dziewięć razy na dziesięć.
Żaden skrypt nie działa. Pary nie istnieją, dopóki głosowanie się nie zamknie, więc każde miejsce musi czytać i odpowiadać jak każde inne, co najmniej trzy sekundy na parę. To powstrzymuje pośpiech, nie AI. Czego AI nie dostarczy, to człowieka, który za nią poręczy.
Za pokoje trzeba poręczyć. Pokoje można otwierać bezpłatnie, więc sfabrykowane pokoje mogłyby przegłosować prawdziwe na wspólnej mapie. Werdykty pokoju liczą się tylko wtedy, gdy należy on do zweryfikowanej organizacji, ma osobę prowadzącą, której instancja ufa, albo poręczył za niego pokój, który już się liczy — a jedno nazwisko to jeden liczony głos na pytanie, bez względu na to, ile pokojów otworzy. Każdy pokój jest mimo to pokazany na scalonej mapie, oznaczony jako liczony albo niezweryfikowany, więc czytelnik zawsze widzi, kto się wypowiedział i czyje werdykty ważyły. W symulacji — pięć prawdziwych pokojów przeciw pięciu sfabrykowanym — ta zasada sprawia, że rzeczywista przyczyna przetrwa nie w 69 przebiegach na 100, a we wszystkich 100.
Ukryte liczby trochę pomagają. Gdy od jednej trzeciej do połowy ludzi powtarzałoby to, co prowadzi, pokazywanie liczby naklejek podczas głosowania kosztuje pokój mniej więcej jedną piątą przyczyny: 4.0 z pięciu znalezionych wobec 4.2 przy ukrytych liczbach. Miejsca dla dowodów wyłapują większość tego, co tłum przeocza; liczby pozostają ukryte, bo w tej metodzie głosuje się w ciszy.
Jak staranni muszą być ludzie. Jeśli każda osoba odpowiada dobrze na trudne pary cztery razy na pięć, a na łatwe dziewięć razy na dziesięć, jedna grupa odzyskuje 4.1 z pięciu rzeczywistych przyczyn, a pokój złożony z dwóch grup 4.6. Jeśli ludzie mylą się trzy razy na dziesięć, 70% par nigdy się nie rozstrzyga, a mapa to zgadywanie. Dlatego para, w której grupa nie może dojść do zgody, nie wraca do tych samych ludzi: każda strona pisze jedno zdanie o tym, co zostałoby utracone, gdyby wygrała druga strona, publikowane bez podpisu obok pary, a para trafia do innej grupy, która to czyta i odpowiada na nowo.