PERTANYAANNYA
Why does the same outage keep recurring?
Usulkan apa yang perlu dilakukan, lalu nilai apakah setiap tindakan akan menggeser setiap akar.
Disegel 23 hari lalu: ruang ini tidak lagi tahu siapa saja yang pernah duduk di dalamnya; hanya pemandunya yang masih bernama. Kesimpulannya tetap ada.
30 di meja (29 simulasi) · 3 tindakan diusulkan untuk 6 akar penyebab. Tambahkan satu, lalu nilai apakah setiap tindakan menggeser setiap penyebab.
Melihat sebagai tamu. Masukkan nama pengguna untuk bergabung dan ikut serta.
Nilai akar penyebab terlebih dulu
mengapa
Praktik metode ini sendiri, sebelum tindakan apa pun diusulkan: setiap akar penyebab diberi skor 1–5 untuk seberapa layak ditangani, seberapa besar dampak menanganinya, dan seberapa mungkin akar itu teratasi dengan sendirinya tanpa campur tangan. Prioritas diberikan kepada akar dengan dampak tinggi, kelayakan tinggi, dan kemungkinan rendah untuk teratasi sendiri — prioritas = dampak + kelayakan − kemungkinan. Skor dirata-ratakan untuk seluruh kelompok dan ditampilkan bersama jumlah orang yang memberi skor.
1 = rendah, 5 = tinggi. Skor Anda sendiri; rata-rata kelompok di sebelahnya.
| akar penyebab | layak | dampak | teratasi sendiri | prioritas |
|---|---|---|---|---|
| The service map in the wiki is two years old | – | – | – | – |
| One engineer knows how the payment path actually works | – | – | – | – |
| Feature flags are never cleaned up, so nobody knows which paths are live | – | – | – | – |
| The on-call rota has the same two people on it most weeks | – | – | – | – |
| Rollbacks take longer than the outage they are meant to end | – | – | – | – |
| Alerts fire so often that on-call mutes them | – | – | – | – |
Apakah setiap tindakan akan menggeser setiap akar penyebab?
Di samping: tindakan yang diusulkan orang-orang. Di atas: akar penyebab yang ditemukan peta. Setiap kotak adalah satu pemungutan suara atas satu pertanyaan — apakah tindakan ini akan sangat mengurangi penyebab itu? Satu pihak harus mencapai 75% suara masuk untuk menuntaskannya; jika kurang, kotak itu tetap terbelah. Setiap kotak menunjukkan bagaimana suaranya terbagi — ya / lebih buruk / tidak — dan sebuah kotak tuntas saat salah satunya mencapai tiga perempat suara.
mengapa
Dijawab pada 75% suara masuk, seperti setiap pertanyaan lain di sini. Terbelah berarti orang sudah memberi suara dan tidak ada pihak yang mencapai ambang itu — ini sebuah hasil, bukan antrean, dan tetap terbelah sampai cukup banyak orang berubah pikiran. Kotak yang tidak dituntaskan siapa pun tetap belum diputuskan; tidak pernah berubah menjadi “tidak”. Menilai setiap pasangan secara tersendiri mencegah tindakan yang populer dianggap memperbaiki hal-hal yang tidak disentuhnya.
| TINDAKAN | AKAR PENYEBAB · apakah tindakan di sebelah kiri menguranginya? | |||||
|---|---|---|---|---|---|---|
| The service map in the wiki is two years old | One engineer knows how the payment path actually works | Feature flags are never cleaned up, so nobody knows which paths are live | The on-call rota has the same two people on it most weeks | Rollbacks take longer than the outage they are meant to end | Alerts fire so often that on-call mutes them | |
| No production deploy after 14:00 on Fridays unless the on-call engineer agrees diskusikan | ✗ tidak, tidak mengurangi 3 ya / 0 lebih buruk / 26 tidak | ⚑ kelompok terbelah 21 ya / 0 lebih buruk / 8 tidak | belum diputuskan | belum diputuskan | belum diputuskan | belum diputuskan |
| Give the shared schema one named owner and a migration tool with rollback diskusikan | ✗ tidak, tidak mengurangi 6 ya / 0 lebih buruk / 23 tidak | ✓ ya, ini menguranginya 24 ya / 0 lebih buruk / 5 tidak | belum diputuskan | belum diputuskan | belum diputuskan | belum diputuskan |
| Reserve one engineer-week per sprint for post-mortem actions, first in the sprint, not last diskusikan | ✗ tidak, tidak mengurangi 4 ya / 0 lebih buruk / 25 tidak | ✗ tidak, tidak mengurangi 3 ya / 0 lebih buruk / 26 tidak | belum diputuskan | belum diputuskan | belum diputuskan | belum diputuskan |
Daya ungkit tertinggi sejauh ini
Give the shared schema one named owner and a migration tool with rollback mengurangi 1 dari 6 akar penyebab
TINDAKAN DI PETA
Menampilkan semua tindakan yang dinilai ruang: langsung menyasar 1 dari 6 akar penyebab. Ada 5 yang tidak disasar langsung.
Dibaca dari kotak-kotak yang dituntaskan ruang di tahap Tindakan, bukan dari yang lain. Akar berwarna hijau dikurangi oleh setidaknya satu tindakan yang ditampilkan; yang abu-abu tidak disasar langsung oleh satu pun; garis tepi merah berarti salah satunya memperburuknya.
Bagikan tampilan ini: sebagai gambar · sebagai peta langsung untuk situs lain
Setiap nomor di peta menandai akar penyebab yang dikurangi oleh tindakan itu.
① No production deploy after 14:00 on Fridays unless the on-call engineer agrees
② Give the shared schema one named owner and a migration tool with rollback
③ Reserve one engineer-week per sprint for post-mortem actions, first in the sprint, not last
Apa yang kami harapkan terjadi berikutnya
Prakiraan tentang tindakan: apa yang seharusnya diubah oleh masing-masing, cara mengukurnya, dan kapan memeriksanya. Pada tanggalnya, seseorang yang ada di ruang menulis apa yang sebenarnya terjadi di sebelahnya.
mengapa
Peta menunjukkan tindakan mana yang menggeser penyebab mana. Peta tidak menunjukkan apakah ada yang melakukannya, atau apakah ada yang berubah. Entri di sini adalah prakiraan dengan tanggal dan sesuatu untuk diukur, ditulis setelah peta tuntas. Saat tanggalnya tiba, apa yang sebenarnya terjadi ditulis di sampingnya dan prakiraannya tetap seperti semula: prakiraan yang salah justru yang berguna. Tidak ada yang memberi suara atas semua ini dan ini tidak mengubah apa pun yang ditemukan ruang.
tenggat 23 Jan 2027
tindakanNo production deploy after 14:00 on Fridays unless the on-call engineer agrees
harapan kamithe same cause stops coming back once fixing it is in the sprint
diukur denganrepeat outages with the same cause, per quarter
tebakanruang: 3 (median dari 15, rentang 1 sampai 6)