НОТАТКИ · ДОКАЗИ
True Causes перевірили в моделюванні ще до того, як ним хтось скористався: на відомій відповіді та проти місць, що голосують єдиним блоком. Кожне число на цій сторінці взято з цих моделювань, які постачаються разом із програмою і які можна перезапустити за кілька хвилин. Твердження, яке ми не можемо відтворити, на цій сторінці немає.
Змодельована організація з двадцятьма проблемами, п’ять із яких справді є глибинними причинами. П’ятнадцять людей пропрацьовують її двісті разів для кожного рядка, вирішуючи кожну пару так, як це робить True Causes: кожен голосує один раз, а пару вирішують 75% поданих голосів. Оскільки це моделювання, ми знаємо правильну відповідь, тож можемо порахувати, скільки з цих п’яти отримує кожен метод, — єдиний чесний спосіб оцінити процес, адже жодна справжня кімната не має ключа відповідей.
| Кімната впорядковує за тим, що болить сьогодні | Зупинитися на голосуванні | Продовжити й побудувати мапу | Мапа із зарезервованими місцями для доказів |
|---|---|---|---|
| зовсім ні | 3.1 з 5 | 3.9 з 5 | 4.1 з 5 |
| трохи | 2.4 з 5 | 3.8 з 5 | 4.1 з 5 |
| здебільшого | 0.8 з 5 | 3.4 з 5 | 4.0 з 5 |
| майже повністю | жодної | 0.2 з 5 | 3.3 з 5 |
Прочитайте нижній рядок. Коли кімната впорядковує суто за відчуттями, голосування не називає жодної з п’яти справжніх причин, а мапа, побудована поверх нього, рятує лише 0.2 — причину, яка випала на голосуванні, пізніше не повернути. Останній стовпець — це рішення: зарезервуйте п’ять місць у короткому списку для непомічених ідей, підкріплених джерелом, і кімната знаходить 3.3 з 5 навіть у найгіршому випадку. А тепер прочитайте верхній рядок: навіть кімната зовсім без сліпих плям знаходить більше з мапою, ніж голосуванням, 3.9 проти 3.1, бо питання про пару з порогом 75% — точніший інструмент, ніж рейтинг.
Розмір групи важить менше, ніж уважність. Коли люди такі ж уважні, як вище, панелі від п’яти до п’ятдесяти осіб знаходять від 4.0 до 4.5 з п’яти причин; у більшій панелі менше пар лишаються спірними, але кожен учасник однаково відповідає на кожну пару. Кімнату ділять на групи приблизно по п’ятнадцять, бо п’ятнадцять людей можуть прочитати одну стіну й відповісти на її пари за одне засідання, а не тому, що саме там числа найвищі.
Є обрив, і він людський. Коли люди не помічають одного справжнього впливу з п’яти, а в одному випадку з десяти бачать вплив там, де його немає, група з п’ятнадцяти все одно знаходить 4.0 з 5 причин. Коли помилкова кожна третя відповідь, 78% пар так і не вирішуються, і мапа називає 2.9, здебільшого завдяки тим небагатьом парам, що вирішилися; п’ять навмання вибраних карток назвали б 1.25. Поріг у сімдесят п’ять відсотків може поглинути поодинокі помилки, але не кімнату, яка здебільшого помиляється. Тому одне питання ставлять цілій панелі одночасно, а не п’ятдесят питань одній людині.
Деякі відповіді даються даром. Якщо група погодилася, що A впливає на B, а B впливає на C, нікого не треба питати про A і C — це вже випливає. Коли кожен голосує один раз, це скорочення невелике: воно прибирає 1–3% питань, бо зв’язок вирішується лише з порогом 75%, і на 800 парних прогонах воно анітрохи не знизило точності.
Дублікати коштують часу, а не причин. Нехай кожна з п’яти найпомітніших скарг лежить на стіні у вигляді трьох по-різному сформульованих карток. Оскільки кожну картку з наліпкою структурують, жодна справжня причина не втрачає свого місця: кімната все одно знаходить 4.0 з п’яти. Але кімната відповідає на 830 пар замість 380. Саме об’єднання дублікатів не дає етапу пар розтягнутися.
Та сама змодельована організація, двадцять проблем, п’ять справжніх причин. П’ятнадцять людей вирішують кожну пару з порогом 75% поданих голосів. Частина місць голосує єдиним блоком: чесно всюди, крім тих пар, де правда шкодить одній причині, — версія, яку найважче помітити, та, яку зіграв би ШІ-агент. Кімнату з тридцяти моделюють так, як її будують: усі пишуть на одній стіні, людей жеребом розподіляють на дві групи, кожна картка йде до групи свого автора, кожна група структурує власну стіну, глухий кут іде до іншої групи, а раунд-місток ставить питання про пари між коренями однієї групи й коренями іншої. Кожне число нижче — двісті змодельованих кімнат із таким налаштуванням.
| місць проти однієї причини | названо причин | ціль у першій п’ятірці | позначено |
|---|---|---|---|
| жодного | 4.1 з 5 | 79% | 4% |
| два з п’ятнадцяти | 3.9 з 5 | 62% | 78% |
| три з п’ятнадцяти | 3.8 з 5 | 43% | 98% |
| чотири з п’ятнадцяти | 3.7 з 5 | 34% | 99% |
| шість із п’ятнадцяти — захоплено | 3.6 з 5 | 30% | 35% |
| жодного з тридцяти, дві групи | 4.6 з 5 | 94% | 2% |
| чотири з тридцяти, дві групи | 4.5 з 5 | 90% | 28% |
| вісім із тридцяти, дві групи | 4.2 з 5 | 63% | 54% |
Меншість не може додати зв’язок. Вона може посунути одну причину вниз мапою: два місця з п’ятнадцяти не пускають її до п’яти найглибших більш ніж у третині випадків, чотири місця — у двох випадках із трьох, а решта мапи виглядає нормально. Але ті самі місця опиняються в меншості в кожній парі, що стосується цієї причини, і протокол це позначає — 78–99% кімнат із таким блоком і 4% чесних, як число, ніколи як ім’я. Шість місць захоплюють групу повністю, і тоді така картина надто звична, щоб впадати в око. Ліки — останні рядки: у кімнаті з тридцяти жереб розбиває блок, а глухий кут іде до іншої групи, тож чотири місця залишають причину на її місці дев’ять разів із десяти.
Жоден скрипт не спрацює. Пар не існує, доки не закрито голосування, тож кожне місце має читати й відповідати, як усі, щонайменше три секунди на пару. Це зупиняє поспіх, а не ШІ. Чого ШІ не може дати, то це людини, яка за нього поручиться.
За кімнати мають поручитися. Відкрити кімнату безплатно, тож вигадані кімнати могли б переголосувати справжні на спільній мапі. Вердикти кімнати враховуються, лише якщо вона належить перевіреній організації, має ведучого, якому довіряє інстанс, або за неї поручилася кімната, яка вже враховується, — і одне ім’я — це один врахований голос на питання, хоч скільки кімнат воно відкриває. Кожну кімнату все одно показують на зведеній мапі з позначкою «враховано» чи «не перевірено», тож читач завжди бачить, хто говорив і чиї вердикти мали вагу. У моделюванні — п’ять справжніх кімнат проти п’яти вигаданих — це правило підвищує виживання справжньої причини з 69 прогонів зі 100 до всіх 100.
Приховані числа трохи допомагають. Коли від третини до половини людей схильні копіювати те, що лідирує, показ кількості наліпок під час голосування коштує кімнаті приблизно п’ятої частини причини: 4.0 знайдених із п’яти проти 4.2, коли кількість приховано. Зарезервовані місця для доказів ловлять більшість того, що пропускає натовп; кількість наліпок лишається прихованою, бо метод голосує мовчки.
Наскільки уважними мають бути люди. Якщо кожна людина правильно відповідає на складні пари чотири рази з п’яти, а на прості — дев’ять разів із десяти, одна група знаходить 4.1 з п’яти справжніх причин, а кімната з двох груп — 4.6. Якщо люди помиляються тричі з десяти, 70% пар так і не вирішуються, і мапа стає вгадуванням. Тому пару, щодо якої група не може дійти згоди, не повертають тим самим людям: кожна сторона пише одне речення про те, що буде втрачено, якщо переможе інша сторона, його публікують без імені поруч із парою, а пара йде до іншої групи, яка читає ці речення й відповідає на неї заново.