NOTE · PROVE
True Causes è stato messo alla prova in simulazione prima che chiunque lo usasse: rispetto a una risposta nota, e contro posti che votano in blocco. Ogni numero in questa pagina viene da quelle simulazioni, che sono distribuite con il software e si possono rieseguire in pochi minuti. Un’affermazione che non riusciamo a riprodurre non è in questa pagina.
Un’organizzazione simulata con venti problemi, cinque dei quali sono davvero le cause profonde. Quindici persone ci lavorano, duecento volte per riga, decidendo ogni coppia come fa True Causes: un voto a testa, e la coppia si decide con il 75% dei voti espressi. Poiché è una simulazione conosciamo la risposta giusta, così possiamo contare quante di quelle cinque ottiene alla fine ciascun metodo — l’unico modo onesto per dare un punteggio a un processo, perché nessuna stanza reale ha le soluzioni.
| La stanza mette in classifica ciò che fa male oggi | Fermarsi al voto | Andare avanti e costruire la mappa | Mappa, con posti riservati alle prove |
|---|---|---|---|
| per niente | 3.1 su 5 | 3.9 su 5 | 4.1 su 5 |
| un po’ | 2.4 su 5 | 3.8 su 5 | 4.1 su 5 |
| per lo più | 0.8 su 5 | 3.4 su 5 | 4.0 su 5 |
| quasi del tutto | nessuna | 0.2 su 5 | 3.3 su 5 |
Leggi l’ultima riga. Quando una stanza mette in classifica solo secondo ciò che sente, il voto non individua nessuna delle cinque cause reali, e costruirci sopra una mappa ne recupera solo 0.2 — una causa scartata al voto non si può recuperare in seguito. L’ultima colonna è la soluzione: riserva cinque posti nella rosa ristretta alle idee trascurate sostenute da una fonte, e la stanza ne trova 3.3 su 5 nel caso peggiore. E leggi la prima riga: anche una stanza senza alcun punto cieco trova di più mappando che votando, 3.9 contro 3.1, perché una domanda a coppie al 75% è uno strumento migliore di una classifica.
La dimensione del gruppo conta meno dell’attenzione. Con persone attente quanto sopra, i panel da cinque a cinquanta trovano tutti tra 4.0 e 4.5 delle cinque cause; un panel più grande lascia meno coppie contese, ma ogni membro risponde a ogni coppia. Una stanza viene divisa in gruppi di una quindicina di persone perché quindici persone riescono a leggere una bacheca e a rispondere alle sue coppie in una seduta, non perché i numeri tocchino lì il massimo.
C’è un precipizio, ed è umano. Quando le persone sbagliano un’influenza reale su cinque, e una non-influenza su dieci, un gruppo di quindici trova ancora 4.0 delle 5 cause. Quando sbagliano una domanda su tre, il 78% delle coppie non si risolve mai e la mappa ne individua 2.9, per lo più dalle poche coppie che si sono risolte; scegliere cinque schede a caso ne individuerebbe 1.25. Il settantacinque per cento può assorbire errori sparsi, non una stanza che per lo più sbaglia. Ecco perché una domanda viene posta a un intero panel alla volta, invece di cinquanta domande a una sola persona.
Alcune risposte arrivano gratis. Se il gruppo ha concordato che A influisce su B e B influisce su C, non serve chiedere a nessuno di A e C — ne consegue già. Con un voto a testa la scorciatoia è piccola: elimina l’1–3% delle domande, perché un collegamento si decide solo al 75%, e su 800 esecuzioni appaiate non è costata alcuna precisione.
I doppioni costano tempo, non cause. Lascia che le cinque lamentele più visibili stiano ciascuna sulla bacheca come tre schede formulate in modo diverso. Poiché ogni scheda con un bollino viene strutturata, nessuna causa reale perde il suo posto: la stanza trova ancora 4.0 delle cinque. Ma risponde a 830 coppie invece di 380. Unire i doppioni è ciò che tiene breve la fase delle coppie.
Stessa organizzazione simulata, venti problemi, cinque cause reali. Quindici persone decidono ogni coppia con il 75% dei voti espressi. Alcuni posti votano in blocco: onestamente ovunque, tranne dove la verità danneggia una causa — la versione più difficile da vedere, quella che giocherebbe un agente di IA. Una stanza da trenta viene simulata così come si forma: tutti scrivono su un’unica bacheca, le persone vengono divise per sorteggio in due gruppi, ogni scheda va al gruppo del suo autore, ogni gruppo struttura la propria bacheca, uno stallo va all’altro gruppo, e un giro di raccordo mette a confronto le radici di ciascun gruppo con quelle dell’altro. Ogni numero qui sotto è il risultato di duecento stanze simulate con quell’impostazione.
| posti contro una causa | cause individuate | bersaglio tra le prime cinque | segnalata |
|---|---|---|---|
| nessuno | 4.1 su 5 | 79% | 4% |
| due su quindici | 3.9 su 5 | 62% | 78% |
| tre su quindici | 3.8 su 5 | 43% | 98% |
| quattro su quindici | 3.7 su 5 | 34% | 99% |
| sei su quindici — conquistata | 3.6 su 5 | 30% | 35% |
| nessuno su trenta, due gruppi | 4.6 su 5 | 94% | 2% |
| quattro su trenta, due gruppi | 4.5 su 5 | 90% | 28% |
| otto su trenta, due gruppi | 4.2 su 5 | 63% | 54% |
Una minoranza non può aggiungere un collegamento. Può spingere una causa più in basso nella mappa: due posti su quindici la tengono fuori dalle cinque più profonde più di un terzo delle volte, quattro posti due volte su tre, e il resto della mappa sembra a posto. Ma gli stessi posti finiscono in minoranza su ogni coppia che tocca quella causa, e la registrazione lo segnala — nel 78–99% delle stanze con un blocco simile e nel 4% di quelle oneste, come conteggio, mai come nome. Sei posti conquistano un gruppo del tutto, e allora lo schema è troppo comune per spiccare. Il rimedio sono le ultime righe: in una stanza da trenta il sorteggio divide il blocco e uno stallo va all’altro gruppo, così con quattro posti la causa resta al suo posto nove volte su dieci.
Nessuno script funziona. Le coppie non esistono finché il voto non si chiude, quindi ogni posto deve leggere e rispondere come qualsiasi altro, con un minimo di tre secondi per coppia. Questo ferma una corsa, non un’IA. Ciò che un’IA non può fornire è una persona che garantisca per lei.
Qualcuno deve garantire per le stanze. Aprire una stanza è gratis, quindi stanze fabbricate potrebbero mettere in minoranza quelle reali sulla mappa condivisa. I verdetti di una stanza contano solo quando appartiene a un’organizzazione verificata, ha un facilitatore di cui l’istanza si fida, oppure qualcuno ha garantito per lei da una stanza che conta già — e un nome è una sola voce contata per domanda, per quante stanze apra. Ogni stanza viene comunque mostrata sulla mappa unita, contrassegnata come contata o non verificata, così chi legge vede sempre chi ha parlato e quali verdetti hanno pesato. In simulazione — cinque stanze reali contro cinque fabbricate — la regola fa sopravvivere una causa reale non più in 69 esecuzioni su 100 ma in tutte e 100.
Nascondere i conteggi aiuta un po’. Quando da un terzo alla metà delle persone copierebbe qualunque cosa sia in testa, mostrare il conteggio dei bollini durante il voto costa alla stanza circa un quinto di causa: 4.0 delle cinque trovate contro 4.2 con i conteggi nascosti. I posti riservati alle prove colgono gran parte di ciò che sfugge alla folla; i conteggi restano nascosti perché il metodo vota in silenzio.
Quanto devono essere attente le persone. Se ogni persona risponde bene alle coppie difficili quattro volte su cinque e a quelle facili nove volte su dieci, un gruppo recupera 4.1 delle cinque cause reali e una stanza di due gruppi 4.6. Se le persone sbagliano tre volte su dieci, il 70% delle coppie non si risolve mai e la mappa è un tirare a indovinare. Per questo una coppia su cui un gruppo non riesce ad accordarsi non torna alle stesse persone: ogni parte scrive una frase su che cosa si perderebbe se vincesse l’altra parte, pubblicata senza nome accanto alla coppia, e la coppia va a un gruppo diverso, che legge quelle frasi e risponde da capo.