NOTITIES · BEWIJS
True Causes is in simulatie getest voordat iemand het gebruikte: tegen een bekend antwoord, en tegen plekken die als blok stemmen. Elk getal op deze pagina komt uit die simulaties, die met de software worden meegeleverd en in een paar minuten opnieuw kunnen worden uitgevoerd. Een bewering die we niet kunnen reproduceren, staat niet op deze pagina.
Een gesimuleerde organisatie met twintig problemen, waarvan er vijf echt de diepe oorzaken zijn. Vijftien mensen werken die door, tweehonderd keer per rij, en beslissen elk paar zoals True Causes dat doet: één stem per persoon, beslist bij 75% van de uitgebrachte stemmen. Omdat het een simulatie is, kennen we het juiste antwoord, dus kunnen we tellen hoeveel van die vijf elke methode uiteindelijk vindt — de enige eerlijke manier om een proces te beoordelen, want geen echte ruimte heeft een antwoordsleutel.
| De ruimte rangschikt naar wat vandaag pijn doet | Stoppen bij de stemming | Doorgaan en de kaart bouwen | Kaart, met plekken gereserveerd voor bewijs |
|---|---|---|---|
| helemaal niet | 3.1 van 5 | 3.9 van 5 | 4.1 van 5 |
| een beetje | 2.4 van 5 | 3.8 van 5 | 4.1 van 5 |
| grotendeels | 0.8 van 5 | 3.4 van 5 | 4.0 van 5 |
| bijna helemaal | geen enkele | 0.2 van 5 | 3.3 van 5 |
Lees de onderste rij. Als een ruimte puur rangschikt naar wat ze voelt, benoemt de stemming geen enkele van de vijf echte oorzaken, en een kaart daarbovenop redt er slechts 0.2 — een oorzaak die bij de stemming afvalt, kan later niet worden teruggehaald. De laatste kolom is de oplossing: houd vijf plekken op de shortlist vrij voor over het hoofd geziene ideeën met een bron, en de ruimte vindt er in het slechtste geval 3.3 van 5. En lees de bovenste rij: zelfs een ruimte zonder enige blinde vlek vindt meer door een kaart te bouwen dan door te stemmen, 3.9 tegenover 3.1, omdat een vraag per paar bij 75% een beter instrument is dan een rangschikking.
Groepsgrootte telt minder dan zorgvuldigheid. Met mensen die zo zorgvuldig zijn als hierboven vinden panels van vijf tot vijftig allemaal tussen 4.0 en 4.5 van de vijf oorzaken; een groter panel laat minder paren betwist, maar elk lid beantwoordt elk paar. Een ruimte wordt opgesplitst in groepen van ongeveer vijftien, omdat vijftien mensen één muur kunnen lezen en de paren ervan in één zitting kunnen beantwoorden, niet omdat de cijfers daar het hoogst zijn.
Er is een klif, en die is menselijk. Als mensen één echte invloed op de vijf verkeerd beoordelen, en één niet-invloed op de tien, vindt een groep van vijftien nog steeds 4.0 van de 5 oorzaken. Als ze één vraag op de drie verkeerd beantwoorden, wordt 78% van de paren nooit beslist en benoemt de kaart er 2.9, vooral uit de paar paren die wel beslist werden; vijf willekeurige kaartjes kiezen zou er 1.25 benoemen. Vijfenzeventig procent kan verspreide fouten opvangen, niet een ruimte die zich grotendeels vergist. Daarom wordt één vraag tegelijk aan een heel panel voorgelegd, in plaats van vijftig vragen aan één persoon.
Sommige antwoorden krijg je gratis. Als de groep het erover eens is dat A invloed heeft op B en B invloed heeft op C, hoeft niemand iets gevraagd te worden over A en C — dat volgt er al uit. Met één stem per persoon is die snelweg klein: hij schrapt 1–3% van de vragen, omdat een koppeling pas bij 75% beslist is, en over 800 gepaarde runs kostte hij helemaal geen nauwkeurigheid.
Dubbele kaartjes kosten tijd, geen oorzaken. Laat de vijf meest zichtbare klachten elk als drie verschillend verwoorde kaartjes op de muur staan. Omdat elk kaartje met een sticker wordt gestructureerd, verliest geen enkele echte oorzaak haar plaats: de ruimte vindt nog steeds 4.0 van de vijf. Maar ze beantwoordt 830 paren in plaats van 380. Dubbele kaartjes samenvoegen houdt de parenfase kort.
Dezelfde gesimuleerde organisatie, twintig problemen, vijf echte oorzaken. Vijftien mensen beslissen elk paar bij 75% van de uitgebrachte stemmen. Sommige plekken stemmen als blok: overal eerlijk, behalve waar de waarheid één oorzaak schaadt — de versie die het moeilijkst te zien is, die een AI-agent zou spelen. Een ruimte van dertig wordt gesimuleerd zoals ze is opgebouwd: iedereen schrijft op één muur, de mensen worden door loting over twee groepen verdeeld, elk kaartje gaat naar de groep van wie het schreef, elke groep structureert haar eigen muur, een impasse gaat naar de andere groep, en een verbindingsronde legt de wortels van elke groep naast die van de andere. Elk getal hieronder is tweehonderd gesimuleerde ruimtes bij die instelling.
| plekken tegen één oorzaak | benoemde oorzaken | doelwit in top vijf | gemarkeerd |
|---|---|---|---|
| geen enkele | 4.1 van 5 | 79% | 4% |
| twee van vijftien | 3.9 van 5 | 62% | 78% |
| drie van vijftien | 3.8 van 5 | 43% | 98% |
| vier van vijftien | 3.7 van 5 | 34% | 99% |
| zes van vijftien — overgenomen | 3.6 van 5 | 30% | 35% |
| geen van dertig, twee groepen | 4.6 van 5 | 94% | 2% |
| vier van dertig, twee groepen | 4.5 van 5 | 90% | 28% |
| acht van dertig, twee groepen | 4.2 van 5 | 63% | 54% |
Een minderheid kan geen verbinding toevoegen. Ze kan één oorzaak omlaag duwen op de kaart: twee plekken op vijftien houden die meer dan een derde van de tijd buiten de vijf diepste, vier plekken twee keer op de drie, en de rest van de kaart ziet er prima uit. Maar dezelfde plekken belanden bij elk paar dat die oorzaak raakt in de minderheid, en het verslag markeert dat — 78–99% van de ruimtes met zo’n blok en 4% van de eerlijke, als aantal, nooit als naam. Zes plekken nemen een groep volledig over, en dan is het patroon te gewoon om op te vallen. De remedie staat in de laatste rijen: in een ruimte van dertig wordt het blok door loting verdeeld en gaat een impasse naar de andere groep, zodat vier plekken de oorzaak negen keer op de tien op haar plaats laten.
Geen script werkt. De paren bestaan pas als de stemming sluit, dus elke plek moet lezen en antwoorden zoals elke andere, met minimaal drie seconden per paar. Dat houdt haast tegen, geen AI. Wat een AI niet kan leveren, is een persoon die voor haar instaat.
Voor ruimtes moet worden ingestaan. Ruimtes openen is gratis, dus verzonnen ruimtes zouden echte ruimtes op de gedeelde kaart kunnen overstemmen. De oordelen van een ruimte tellen alleen als ze bij een geverifieerde organisatie hoort, een gespreksleider heeft die de instantie vertrouwt, of als er voor haar is ingestaan door een ruimte die al meetelt — en één naam is één getelde stem per vraag, hoeveel ruimtes die ook opent. Elke ruimte wordt nog steeds op de samengevoegde kaart getoond, gemarkeerd als geteld of niet geverifieerd, zodat een lezer altijd ziet wie sprak en wiens oordelen meewogen. In simulatie — vijf echte ruimtes tegen vijf verzonnen — brengt de regel het overleven van een echte oorzaak van 69 op 100 runs naar alle 100.
Verborgen aantallen helpen een beetje. Als een derde tot de helft van de mensen zou overnemen wat voorligt, kost het tonen van stickeraantallen tijdens de stemming de ruimte ongeveer een vijfde van een oorzaak: 4.0 van de vijf gevonden tegenover 4.2 met verborgen aantallen. De plekken voor bewijs vangen het meeste op van wat de menigte mist; de aantallen blijven verborgen omdat de methode in stilte stemt.
Hoe zorgvuldig mensen moeten zijn. Als ieder persoon de moeilijke paren vier keer op de vijf goed heeft en de makkelijke negen keer op de tien, vindt één groep 4.1 van de vijf echte oorzaken terug en een ruimte van twee groepen 4.6. Als mensen er drie keer op de tien naast zitten, wordt 70% van de paren nooit beslist en is de kaart giswerk. Daarom wordt een paar waarover een groep het niet eens kan worden niet opnieuw aan dezelfde mensen voorgelegd: elke kant schrijft één zin over wat er verloren zou gaan als de andere kant won, zonder naam naast het paar gepubliceerd, en het paar gaat naar een andere groep, die dat leest en het opnieuw beantwoordt.