ВОПРОС
Why does the same outage keep recurring?
Предложите, что делать, а затем оцените, сдвинет ли каждое действие каждую коренную причину.
Запечатано 23 дня назад: эта комната больше не знает, кто в ней сидел; по имени остался только ведущий. Ее выводы остаются.
за столом: 30 (смоделировано: 29) · 3 действия предложены для коренных причин (6). Добавьте свое, затем оцените, влияет ли каждое действие на каждую причину.
Вы смотрите как гость. Введите имя пользователя, чтобы присоединиться и участвовать.
Сначала оцените коренные причины
почему
Собственная практика метода, до того как предложено хоть одно действие: каждая коренная причина получает оценку от 1 до 5 — насколько реально ею заняться, какое влияние это даст и насколько вероятно, что она разрешится сама, без вмешательства. Приоритет у коренных причин с большим влиянием, высокой реализуемостью и низкой вероятностью разрешиться самим — приоритет = влияние + реализуемость − вероятность. Оценки усредняются по группе и показываются вместе с числом оценивших.
1 = низко, 5 = высоко. Ваши собственные оценки; рядом средние по группе.
| коренная причина | реализуемость | влияние | разрешится сама | приоритет |
|---|---|---|---|---|
| The service map in the wiki is two years old | – | – | – | – |
| One engineer knows how the payment path actually works | – | – | – | – |
| Feature flags are never cleaned up, so nobody knows which paths are live | – | – | – | – |
| The on-call rota has the same two people on it most weeks | – | – | – | – |
| Rollbacks take longer than the outage they are meant to end | – | – | – | – |
| Alerts fire so often that on-call mutes them | – | – | – | – |
Повлияет ли каждое действие на каждую коренную причину?
Сбоку: действия, которые предложили люди. Сверху: коренные причины, которые нашла карта. Каждая клетка — одно голосование по одному вопросу: уменьшит ли это действие существенно эту причину? Чтобы вопрос был решен, одна сторона должна набрать 75% поданных голосов; иначе клетка остается разделенной. Каждая клетка показывает, как распределились голоса, — да / хуже / нет, — и клетка решена, когда один из вариантов набирает три четверти голосов.
почему
Ответ принимается при 75% поданных голосов, как и любой другой вопрос здесь. Разделились значит, что люди проголосовали, но ни одна сторона не достигла этого порога, — это результат, а не очередь, и так остается, пока достаточно людей не передумают. Клетка, которую никто не решил, остается нерешенной; она никогда не превращается в «нет». Оценка каждой пары по отдельности не дает приписать популярному действию решение проблем, которых оно не касается.
| ДЕЙСТВИЕ | КОРЕННЫЕ ПРИЧИНЫ · помогает ли действие слева это уменьшить? | |||||
|---|---|---|---|---|---|---|
| The service map in the wiki is two years old | One engineer knows how the payment path actually works | Feature flags are never cleaned up, so nobody knows which paths are live | The on-call rota has the same two people on it most weeks | Rollbacks take longer than the outage they are meant to end | Alerts fire so often that on-call mutes them | |
| No production deploy after 14:00 on Fridays unless the on-call engineer agrees обсудить | ✗ нет, не уменьшает 3 да / 0 хуже / 26 нет | ⚑ группа разделилась 21 да / 0 хуже / 8 нет | еще не решено | еще не решено | еще не решено | еще не решено |
| Give the shared schema one named owner and a migration tool with rollback обсудить | ✗ нет, не уменьшает 6 да / 0 хуже / 23 нет | ✓ да, уменьшает это 24 да / 0 хуже / 5 нет | еще не решено | еще не решено | еще не решено | еще не решено |
| Reserve one engineer-week per sprint for post-mortem actions, first in the sprint, not last обсудить | ✗ нет, не уменьшает 4 да / 0 хуже / 25 нет | ✗ нет, не уменьшает 3 да / 0 хуже / 26 нет | еще не решено | еще не решено | еще не решено | еще не решено |
Наибольший эффект на сейчас
Give the shared schema one named owner and a migration tool with rollback уменьшает коренные причины: 1 из 6
ДЕЙСТВИЯ НА КАРТЕ
Показано: все действия, которые оценила комната. Напрямую направлен на коренные причины: 1 из 6. Без прямого действия: 5.
Взято только из клеток, решенных комнатой на этапе «Действия». Коренная причина в зеленом уменьшается хотя бы одним из показанных действий; в сером — ни одно из них не направлено на нее напрямую; красная обводка значит, что одно из них ее ухудшает.
Поделиться этим видом: как изображение · как живая карта для другого сайта
Каждый номер на карте отмечает коренную причину, которую уменьшает это действие.
① No production deploy after 14:00 on Fridays unless the on-call engineer agrees
② Give the shared schema one named owner and a migration tool with rollback
③ Reserve one engineer-week per sprint for post-mortem actions, first in the sprint, not last
Чего мы ожидаем дальше
Прогнозы о действиях: что каждое должно изменить, как это измерить и когда проверить. В эту дату кто-то из тех, кто был в комнате, записывает рядом, что произошло на самом деле.
почему
Карта говорит, какие действия влияют на какие причины. Она не говорит, выполнил ли их кто-нибудь и изменилось ли что-нибудь. Запись здесь — это прогноз с датой и тем, что можно измерить, сделанный после того, как карта была решена. Когда наступает дата, рядом записывается, что произошло на самом деле, а прогноз остается как был: ошибочный прогноз — как раз полезный. Никто ни за что из этого не голосовал, и это ничего не меняет в выводах комнаты.
срок: 23 Jan 2027
действиеNo production deploy after 14:00 on Fridays unless the on-call engineer agrees
ожидаемthe same cause stops coming back once fixing it is in the sprint
показательrepeat outages with the same cause, per quarter
оценкикомната: 3 (медиана; оценок: 15; разброс от 1 до 6)