ЗАМЕТКИ · ДОКАЗАТЕЛЬСТВА
True Causes проверили в моделировании еще до того, как им кто-то воспользовался: на задаче с известным ответом и против мест, голосующих единым блоком. Каждое число на этой странице взято из этого моделирования, которое поставляется вместе с программой и перезапускается за несколько минут. Утверждения, которое мы не можем воспроизвести, на этой странице нет.
Смоделированная организация с двадцатью проблемами, пять из которых действительно глубинные причины. Пятнадцать человек проходят ее по двести раз для каждой строки, решая каждую пару так, как это делает True Causes: один голос на человека, и пара решается при 75% поданных голосов. Раз это модель, мы знаем правильный ответ и поэтому можем посчитать, сколько из этих пяти находит каждый метод, — единственный честный способ оценить процесс, ведь ни у одной настоящей комнаты нет ключа с ответами.
| Комната ранжирует по тому, что болит сегодня | Остановиться на голосовании | Продолжить и построить карту | Карта с местами, зарезервированными под доказательства |
|---|---|---|---|
| совсем нет | 3.1 из 5 | 3.9 из 5 | 4.1 из 5 |
| немного | 2.4 из 5 | 3.8 из 5 | 4.1 из 5 |
| в основном | 0.8 из 5 | 3.4 из 5 | 4.0 из 5 |
| почти полностью | ни одной | 0.2 из 5 | 3.3 из 5 |
Посмотрите на нижнюю строку. Когда комната ранжирует только по ощущениям, голосование не называет ни одной из пяти настоящих причин, а карта, построенная поверх него, спасает лишь 0.2: причину, выбывшую на голосовании, потом не вернуть. Последний столбец — это решение: придержите пять мест в коротком списке для незамеченных идей с источником, и комната найдет 3.3 из 5 даже в худшем случае. И посмотрите на верхнюю строку: даже комната совсем без слепых пятен находит больше с помощью карты, чем голосованием, 3.9 против 3.1, потому что вопрос о паре при пороге 75% — более точный инструмент, чем рейтинг.
Размер группы значит меньше, чем внимательность. Если люди так же внимательны, как выше, панели от пяти до пятидесяти человек находят от 4.0 до 4.5 из пяти причин; в более крупной панели остается меньше спорных пар, но каждый участник отвечает на каждую пару. Комнату делят на группы примерно по пятнадцать человек потому, что пятнадцать человек могут прочитать одну стену и ответить на ее пары за одно заседание, а не потому, что числа там достигают пика.
Есть обрыв, и он человеческий. Когда люди ошибаются в одном из пяти настоящих влияний и в одном из десяти несуществующих, группа из пятнадцати человек все равно находит 4.0 из 5 причин. Когда ошибка приходится на один вопрос из трех, 78% пар так и не решаются, и карта называет 2.9, в основном за счет немногих решенных пар; пять карточек, выбранных наугад, дали бы 1.25. Семьдесят пять процентов способны поглотить разрозненные ошибки, но не комнату, которая в основном ошибается. Поэтому один вопрос задается сразу целой панели, а не пятьдесят вопросов одному человеку.
Некоторые ответы достаются даром. Если группа согласилась, что A влияет на B, а B влияет на C, никого не нужно спрашивать про A и C — это уже следует. При одном голосе на человека выигрыш от сокращения невелик: оно убирает 1–3% вопросов, потому что связь утверждается только при 75%, и в 800 парных прогонах оно совсем не снизило точность.
Дубликаты стоят времени, а не причин. Пусть каждая из пяти самых заметных жалоб висит на стене в виде трех по-разному сформулированных карточек. Поскольку каждую карточку с наклейкой структурируют, ни одна настоящая причина не теряет своего места: комната по-прежнему находит 4.0 из пяти. Но отвечать приходится на 830 пар вместо 380. Объединение дубликатов — то, что сохраняет этап пар коротким.
Та же смоделированная организация, двадцать проблем, пять настоящих причин. Пятнадцать человек решают каждую пару при 75% поданных голосов. Часть мест голосует единым блоком: честно везде, кроме тех пар, где правда вредит одной причине, — версия, которую труднее всего заметить, та, которую разыграл бы ИИ-агент. Комнату из тридцати человек моделируют так, как она устроена: все пишут на одной стене, людей по жребию делят на две группы, каждая карточка уходит в группу своего автора, каждая группа структурирует свою стену, неразрешенный вопрос уходит в другую группу, а связующий раунд сопоставляет корни каждой группы с корнями другой. Каждое число ниже — двести смоделированных комнат при этой настройке.
| мест против одной причины | названо причин | цель в пятерке | помечено |
|---|---|---|---|
| ни одного | 4.1 из 5 | 79% | 4% |
| два из пятнадцати | 3.9 из 5 | 62% | 78% |
| три из пятнадцати | 3.8 из 5 | 43% | 98% |
| четыре из пятнадцати | 3.7 из 5 | 34% | 99% |
| шесть из пятнадцати — захвачена | 3.6 из 5 | 30% | 35% |
| ни одного из тридцати, две группы | 4.6 из 5 | 94% | 2% |
| четыре из тридцати, две группы | 4.5 из 5 | 90% | 28% |
| восемь из тридцати, две группы | 4.2 из 5 | 63% | 54% |
Меньшинство не может добавить связь. Оно может сдвинуть одну причину вниз по карте: два места из пятнадцати не пускают ее в пятерку самых глубоких больше чем в трети случаев, четыре места — в двух случаях из трех, а остальная карта выглядит нормально. Но эти же места оказываются в меньшинстве в каждой паре, касающейся этой причины, и протокол это помечает — в 78–99% комнат с таким блоком и в 4% честных, как число, а не имя. Шесть мест захватывают группу полностью, и тогда этот рисунок встречается слишком часто, чтобы выделяться. Лекарство — последние строки: в комнате из тридцати человек жребий раскалывает блок, а неразрешенный вопрос уходит в другую группу, так что при четырех местах причина остается на своем месте в девяти случаях из десяти.
Скрипт не сработает. Пар не существует, пока не закрыто голосование, поэтому каждому месту приходится читать и отвечать, как всем, минимум по три секунды на пару. Это останавливает спешку, но не ИИ. Чего ИИ не может предоставить, так это человека, который за него поручится.
За комнаты должны поручиться. Комнаты открываются бесплатно, поэтому выдуманные комнаты могли бы перевесить настоящие на общей карте. Вердикты комнаты учитываются, только если она принадлежит проверенной организации, у нее есть ведущий, которому доверяет экземпляр платформы, или за нее поручилась комната, которая уже учитывается, — и одно имя дает один учитываемый голос на вопрос, сколько бы комнат оно ни открыло. Каждая комната все равно показана на объединенной карте с пометкой «учитывается» или «не проверена», так что читатель всегда видит, кто высказался и чьи вердикты имели вес. В моделировании — пять настоящих комнат против пяти выдуманных — это правило повышает выживание настоящей причины с 69 прогонов из 100 до всех 100.
Скрытые числа немного помогают. Когда от трети до половины людей готовы повторять за лидером, показ числа наклеек во время голосования обходится комнате примерно в пятую часть причины: 4.0 найденных из пяти против 4.2 при скрытых числах. Места для доказательств ловят большую часть того, что пропускает толпа; числа остаются скрытыми, потому что в методе голосуют молча.
Насколько внимательными должны быть люди. Если каждый человек правильно отвечает на трудные пары в четырех случаях из пяти, а на легкие — в девяти из десяти, одна группа находит 4.1 из пяти настоящих причин, а комната из двух групп — 4.6. Если люди ошибаются в трех случаях из десяти, 70% пар так и не решаются, и карта превращается в гадание. Поэтому пару, о которой группа не может договориться, не возвращают тем же людям: каждая сторона пишет одно предложение о том, что будет потеряно, если победит другая сторона, оно публикуется без имени рядом с парой, и пара уходит другой группе, которая читает эти предложения и отвечает заново.