笔记 · 证据
True Causes 在有人使用之前就已经在模拟中接受了检验:对照一个已知的答案,也对照抱团投票的席位。本页的每一个数字都来自这些模拟,它们随软件一起发布,几分钟内就能重新运行。我们无法复现的主张,不会出现在本页。
一个模拟的组织,有二十个问题,其中五个确实是深层原因。十五个人把它走一遍,每一行重复两百次,并像 True Causes 那样判定每个卡片对:每人一票,以所投票数的 75% 为准。因为这是模拟,我们知道正确答案,所以可以数出每种方法最终找出了这五个原因中的几个——这是给一个流程打分的唯一诚实的方式,因为没有哪个真实的房间有标准答案。
| 房间按今天什么最痛来排序 | 止步于投票 | 继续建好地图 | 建地图,并为证据保留席位 |
|---|---|---|---|
| 完全没有 | 3.1 / 5 | 3.9 / 5 | 4.1 / 5 |
| 有一点 | 2.4 / 5 | 3.8 / 5 | 4.1 / 5 |
| 大部分 | 0.8 / 5 | 3.4 / 5 | 4.0 / 5 |
| 几乎完全 | 一个都没有 | 0.2 / 5 | 3.3 / 5 |
看最下面一行。当一个房间完全按感受来排序时,投票找出的真正原因是零个,在此基础上再建地图也只能挽回 0.2 个——在投票中被丢掉的原因之后无法找回。最后一列就是解决办法:为有来源支持的、被忽视的想法保留五个候选名单位置,房间在最差的情况下也能找出 5 个中的 3.3 个。再看最上面一行:即使一个房间完全没有盲点,绘制地图找出的也比投票多,3.9 对 3.1,因为以 75% 为准的逐对问题是比排名更好的工具。
小组规模远不如认真程度重要。如果人们像上面一样认真,从五人到五十人的评审组都能找出五个原因中的 4.0 到 4.5 个;评审组越大,留下的有争议卡片对越少,但每个成员都要回答每个卡片对。房间之所以分成大约十五人一组,是因为十五个人能读完一面墙,并在一次会议里答完这面墙上的卡片对,而不是因为数字在这里最高。
存在一道悬崖,而且它来自人。 当人们每五个真实的影响关系看错一个、每十个并不存在的影响关系看错一个时,十五人的小组仍能找出 5 个原因中的 4.0 个。每三题答错一题时,78% 的卡片对永远无法确定,地图找出 2.9 个,主要靠的是少数确定下来的卡片对;随机挑五张卡片能找出 1.25 个。百分之七十五的门槛可以吸收零散的错误,却吸收不了一个大部分人都出错的房间。这就是为什么一次把一个问题交给整个评审组,而不是把五十个问题交给一个人。
有些答案不用问就能得到。 如果小组已经同意 A 影响 B、B 影响 C,就不需要再问任何人 A 和 C 的关系——它已经可以推出。在每人一票的情况下,这条捷径作用很小:只省去 1–3% 的问题,因为一条关联只有达到 75% 才能确定;而在 800 次配对运行中,它没有造成任何准确性损失。
重复耗费的是时间,而不是原因。 让最显眼的五条抱怨各自以三张措辞不同的卡片出现在墙上。由于每张贴了贴纸的卡片都会被结构化,没有哪个真正原因会因此失去位置:房间仍能找出五个中的 4.0 个。但房间要回答 830 个卡片对,而不是 380 个。合并重复卡片,是为了让卡片对环节保持简短。
同样的模拟组织,二十个问题,五个真正原因。十五个人以所投票数的 75% 判定每个卡片对。其中一些席位抱团投票:除了真相对某一个原因不利的地方之外,处处诚实投票——这是最难看出的版本,也是一个 AI 智能体会采用的打法。三十人的房间按它实际的组建方式来模拟:所有人在同一面墙上写卡片,人们被抽签分成两个小组,每张卡片归入其作者所在的小组,每个小组结构化自己的那面墙,僵局交给另一个小组,最后一轮衔接把每个小组的根源与另一个小组的根源两两比较提问。下面的每个数字都是在该设置下两百个模拟房间的结果。
| 针对一个原因的席位 | 找出的原因 | 目标在前五 | 被标记 |
|---|---|---|---|
| 无 | 4.1 / 5 | 79% | 4% |
| 十五席中两席 | 3.9 / 5 | 62% | 78% |
| 十五席中三席 | 3.8 / 5 | 43% | 98% |
| 十五席中四席 | 3.7 / 5 | 34% | 99% |
| 十五席中六席——被控制 | 3.6 / 5 | 30% | 35% |
| 三十席中无,两个小组 | 4.6 / 5 | 94% | 2% |
| 三十席中四席,两个小组 | 4.5 / 5 | 90% | 28% |
| 三十席中八席,两个小组 | 4.2 / 5 | 63% | 54% |
少数人无法添加一条关联。它能把一个原因在地图上往下压:十五席中的两席,有超过三分之一的时候能把它挤出最深的五个之列,四席则三次中有两次能做到,而地图的其余部分看起来一切正常。但同样这些席位,在涉及那个原因的每个卡片对上都会落在少数一方,而记录会把这一点标记出来——有这种抱团席位的房间中有 78–99% 被标记,诚实的房间只有 4%;标记的是一个数字,从不是一个名字。六个席位就能彻底控制一个小组,这时这种模式太常见,反而显不出来。解决办法在最后几行:在三十人的房间里,抱团席位被抽签拆散,僵局交给另一个小组,所以四个席位时,那个原因十次中有九次仍留在原位。
脚本行不通。 卡片对在投票结束之前并不存在,所以每个席位都必须像其他人一样阅读和回答,每个卡片对至少三秒。这能挡住抢答,却挡不住 AI。AI 无法提供的,是一个为它担保的人。
房间必须得到担保。 开房间是免费的,所以伪造的房间可能在共享地图上压过真实的房间。一个房间的判定只有在以下情况下才算数:它属于一个经过验证的组织,或者它的主持人得到本实例的信任,或者它得到一个已经算数的房间的担保 — 而且一个名字在每个问题上只算一个计入的声音,无论它开了多少个房间。每个房间仍然会显示在合并后的地图上,标明“计入”或“未验证”,所以读者总能看到谁发了言、谁的判定有分量。在模拟中 — 五个真实房间对五个伪造房间 — 这条规则让一个真正原因的存活次数从每 100 次运行中的 69 次升到全部 100 次。
隐藏数量略有帮助。 当三分之一到一半的人会跟着领先者走时,在投票期间显示贴纸数量会让房间少找出大约五分之一个原因:显示时找出五个中的 4.0 个,隐藏时是 4.2 个。证据席位接住了人群漏掉的大部分东西;数量之所以保持隐藏,是因为这个方法是在静默中投票的。
人们需要多仔细。 如果每个人在难的卡片对上五次答对四次,在容易的卡片对上十次答对九次,一个小组能找回五个真正原因中的 4.1 个,由两个小组组成的房间能找回 4.6 个。如果人们十次错三次,70% 的卡片对永远无法确定,地图就成了猜测。所以,一个小组无法达成一致的卡片对不会交回同一批人:每一方写一句话,说明如果另一方赢了会失去什么,不署名地公布在卡片对旁边,然后这个卡片对交给另一个小组,由他们读过这些话后重新作答。