True Causes
VI
Bahasa IndonesiaDanskDeutschEnglishEspañolFrançaisItalianoNederlandsNorskPolskiPortuguêsSrpski (latinica)SvenskaTiếng ViệtTürkçeΕλληνικάРусскийСрпски (ћирилица)Українська中文日本語한국어
← sảnh
7/7 · Biện pháp
30 người · 30 ý tưởng
buổi minh họa · không được tính
trở ngại · bất kỳ ai có đường liên kết · công khai trong danh sách · đã bật liên minh
điều phối bởi người điều phối của nó (đã niêm phong)
30 người · 30 ý tưởng · 2 nhóm
Hộ chiếu → · Logic → · hồ sơ
↗ chia sẻ bản đồ này
Trên trang web khác, dưới dạng bản đồ trực tiếp:
Dưới dạng hình ảnh: https://truecauses.org/d/6708d57/map.svg
Dưới dạng dữ liệu: mọi cặp thẻ đã đánh giá trong phòng này (CSV). Mỗi nhận định có địa chỉ riêng, /c/6708d57/<card>, liệt kê dưới bản đồ.
Ghi nguồn khi đăng: Causal map: True Causes, https://truecauses.org/d/6708d57
CÂU HỎI

Why does the same outage keep recurring?

Đề xuất việc cần làm, rồi đánh giá xem mỗi biện pháp có tác động đến từng gốc không.

Đã niêm phong 23 ngày trước: phòng này không còn biết ai đã ngồi trong đó; chỉ người điều phối còn được nêu tên. Kết luận của phòng vẫn còn.
30 người cùng bàn (29 mô phỏng) · 3 biện pháp được đề xuất cho 6 nguyên nhân gốc. Hãy thêm một biện pháp, rồi đánh giá xem mỗi biện pháp có tác động tới từng nguyên nhân không.
Đang xem với tư cách khách. Nhập tên người dùng để vào và tham gia.
Chấm điểm các nguyên nhân gốc trước
vì sao
Cách làm của chính phương pháp, trước khi đề xuất bất kỳ biện pháp nào: mỗi nguyên nhân gốc được chấm 1–5 về mức khả thi để xử lý, mức tác động nếu xử lý được, và khả năng nó tự hết mà không cần can thiệp. Ưu tiên dành cho các gốc có tác động cao, khả thi cao và ít khả năng tự hết — ưu tiên = tác động + khả thi − khả năng tự hết. Điểm được lấy trung bình trong cả nhóm và hiển thị kèm số người đã chấm.
1 = thấp, 5 = cao. Điểm của riêng bạn; điểm trung bình của nhóm ở bên cạnh.
nguyên nhân gốckhả thitác độngtự hếtưu tiên
The service map in the wiki is two years old––––
One engineer knows how the payment path actually works––––
Feature flags are never cleaned up, so nobody knows which paths are live––––
The on-call rota has the same two people on it most weeks––––
Rollbacks take longer than the outage they are meant to end––––
Alerts fire so often that on-call mutes them––––
Mỗi biện pháp có tác động đến từng nguyên nhân gốc không?
Theo chiều dọc: các biện pháp mọi người đề xuất. Theo chiều ngang: các nguyên nhân gốc bản đồ tìm ra. Mỗi ô là một lần bỏ phiếu cho một câu hỏi — biện pháp này có làm giảm đáng kể nguyên nhân kia không? Một bên phải đạt 75% số phiếu đã bỏ để ngã ngũ; nếu chưa đạt, ô đó vẫn bị chia rẽ. Mỗi ô cho thấy phiếu bầu phân bố thế nào — có / tệ hơn / không — và một ô ngã ngũ khi một lựa chọn đạt ba phần tư số phiếu.
vì sao
Được quyết ở mức 75% số phiếu đã bỏ, như mọi câu hỏi khác ở đây. Chia rẽ nghĩa là mọi người đã bỏ phiếu và không bên nào đạt ngưỡng đó — đó là một kết quả, không phải hàng chờ, và nó vẫn chia rẽ cho đến khi đủ người đổi ý. Ô không ai giải quyết thì vẫn chưa quyết; nó không bao giờ biến thành không. Đánh giá từng cặp riêng biệt là điều ngăn một biện pháp được ưa chuộng được ghi công cho những việc nó không hề động đến.
BIỆN PHÁPNGUYÊN NHÂN GỐC · biện pháp bên trái có làm giảm nó không?
The service map in the wiki is two years oldOne engineer knows how the payment path actually worksFeature flags are never cleaned up, so nobody knows which paths are liveThe on-call rota has the same two people on it most weeksRollbacks take longer than the outage they are meant to endAlerts fire so often that on-call mutes them
No production deploy after 14:00 on Fridays unless the on-call engineer agrees thảo luận✗ không, không giảm
3 có / 0 tệ hơn / 26 không
⚑ nhóm bị chia rẽ
21 có / 0 tệ hơn / 8 không
chưa quyết
chưa quyết
chưa quyết
chưa quyết
Give the shared schema one named owner and a migration tool with rollback thảo luận✗ không, không giảm
6 có / 0 tệ hơn / 23 không
✓ có, giảm được điều này
24 có / 0 tệ hơn / 5 không
chưa quyết
chưa quyết
chưa quyết
chưa quyết
Reserve one engineer-week per sprint for post-mortem actions, first in the sprint, not last thảo luận✗ không, không giảm
4 có / 0 tệ hơn / 25 không
✗ không, không giảm
3 có / 0 tệ hơn / 26 không
chưa quyết
chưa quyết
chưa quyết
chưa quyết
Tác động rộng nhất đến giờ
Give the shared schema one named owner and a migration tool with rollback giảm 1 / 6 nguyên nhân gốc
CÁC BIỆN PHÁP TRÊN BẢN ĐỒ
Đang hiển thị mọi biện pháp phòng đã đánh giá: tác động trực tiếp tới 1 trên 6 nguyên nhân gốc. Còn 5 nguyên nhân không có tác động trực tiếp.
Chỉ dựa trên các ô mà phòng đã chốt ở giai đoạn Biện pháp, không gì khác. Gốc màu xanh lá được ít nhất một biện pháp đang hiển thị làm giảm; màu xám nghĩa là không biện pháp nào tác động trực tiếp tới; viền đỏ nghĩa là có một biện pháp làm nó tệ hơn.
Chia sẻ chế độ xem này: dưới dạng hình ảnh · dưới dạng bản đồ trực tiếp cho trang web khác
The same three services cause most of the pages → The staging environment does not resemble productionFeature work always outranks reliability work in planning → Post-mortem actions are written up and then never scheduledRollbacks take longer than the outage they are meant to end → Reliability has no budget line of its ownEvery team has its own logging format → Customers report outages before monitoring doesReliability has no budget line of its own → The incident channel fills with people asking for status instead of giving itReliability has no budget line of its own → The staging environment does not resemble productionPost-mortems assign actions to people who were not in the room → Post-mortem actions are written up and then never scheduledTests that fail intermittently are retried until green → Customers report outages before monitoring doesRetries are unbounded, so a slow dependency becomes a flood → The same three services cause most of the pagesAlerts fire so often that on-call mutes them → Every team has its own logging formatThe on-call rota has the same two people on it most weeks → Post-mortem actions are written up and then never scheduledThe on-call rota has the same two people on it most weeks → Alerts fire so often that on-call mutes themFeature flags are never cleaned up, so nobody knows which paths are live → The same three services cause most of the pagesFeature flags are never cleaned up, so nobody knows which paths are live → Rollbacks take longer than the outage they are meant to endOne engineer knows how the payment path actually works → The on-call rota has the same two people on it most weeksThe service map in the wiki is two years old → Feature flags are never cleaned up, so nobody knows which paths are liveFeature work always outranks reliability work in planningFeature work alwaysoutranks reliability workin planningPost-mortems assign actions to people who were not in the roomPost-mortems assign actionsto people who were not inthe roomTests that fail intermittently are retried until greenTests that failintermittently are retrieduntil greenRetries are unbounded, so a slow dependency becomes a floodRetries are unbounded, so aslow dependency becomes afloodOne engineer knows how the payment path actually works ② Give the shared schema one named owner and a migration tool with rollbackOne engineer knows how thepayment path actually works②các biện pháp đang hiển thị tác động thế nào tới nguyên nhân gốc này1 BIỆN PHÁP LÀM GIẢMThe service map in the wiki is two years oldThe service map in the wikiis two years oldcác biện pháp đang hiển thị tác động thế nào tới nguyên nhân gốc nàyKHÔNG BIỆN PHÁP NÀO TÁCĐỘNG TRỰC TIẾPFeature flags are never cleaned up, so nobody knows which paths are liveFeature flags are nevercleaned up, so nobody knowswhich paths are livecác biện pháp đang hiển thị tác động thế nào tới nguyên nhân gốc nàyKHÔNG BIỆN PHÁP NÀO TÁCĐỘNG TRỰC TIẾPThe on-call rota has the same two people on it most weeksThe on-call rota has thesame two people on it mostweekscác biện pháp đang hiển thị tác động thế nào tới nguyên nhân gốc nàyKHÔNG BIỆN PHÁP NÀO TÁCĐỘNG TRỰC TIẾPRollbacks take longer than the outage they are meant to endRollbacks take longer thanthe outage they are meantto endcác biện pháp đang hiển thị tác động thế nào tới nguyên nhân gốc nàyKHÔNG BIỆN PHÁP NÀO TÁCĐỘNG TRỰC TIẾPAlerts fire so often that on-call mutes themAlerts fire so often thaton-call mutes themcác biện pháp đang hiển thị tác động thế nào tới nguyên nhân gốc nàyKHÔNG BIỆN PHÁP NÀO TÁCĐỘNG TRỰC TIẾPThe same three services cause most of the pagesThe same three servicescause most of the pagesPost-mortem actions are written up and then never scheduledPost-mortem actions arewritten up and then neverscheduledReliability has no budget line of its ownReliability has no budgetline of its ownEvery team has its own logging formatEvery team has its ownlogging formatThe incident channel fills with people asking for status instead of giving itThe incident channel fillswith people asking forstatus instead of giving itThe staging environment does not resemble productionThe staging environmentdoes not resembleproductionCustomers report outages before monitoring doesCustomers report outagesbefore monitoring does
Mỗi số trên bản đồ đánh dấu một nguyên nhân gốc mà biện pháp đó làm giảm.
① No production deploy after 14:00 on Fridays unless the on-call engineer agrees
② Give the shared schema one named owner and a migration tool with rollback
③ Reserve one engineer-week per sprint for post-mortem actions, first in the sprint, not last
Những gì dự kiến sẽ theo sau
Dự đoán về các biện pháp: mỗi biện pháp sẽ thay đổi điều gì, đo thế nào, và khi nào kiểm tra. Đến ngày đó, một người từng ở trong phòng sẽ ghi điều thực sự đã xảy ra bên cạnh.
vì sao
Bản đồ cho biết biện pháp nào tác động đến nguyên nhân nào. Nó không cho biết có ai đã làm hay chưa, hay có gì thay đổi không. Mỗi mục ở đây là một dự đoán có ngày và có thứ để đo, được viết sau khi bản đồ đã ngã ngũ. Khi đến ngày, điều thực sự đã xảy ra được ghi bên cạnh và dự đoán vẫn giữ nguyên: một dự đoán sai chính là loại hữu ích. Không ai bỏ phiếu về những điều này và chúng không thay đổi gì trong kết quả của phòng.
hạn 23 Jan 2027
biện phápNo production deploy after 14:00 on Fridays unless the on-call engineer agrees
dự kiếnthe same cause stops coming back once fixing it is in the sprint
đo bằngrepeat outages with the same cause, per quarter
các dự đoáncả phòng: 3 (trung vị của 15, từ 1 đến 6)