True Causes
SV
Bahasa IndonesiaDanskDeutschEnglishEspañolFrançaisItalianoNederlandsNorskPolskiPortuguêsSrpski (latinica)SvenskaTiếng ViệtTürkçeΕλληνικάРусскийСрпски (ћирилица)Українська中文日本語한국어
← lobbyn
7/7 · Åtgärder
personer: 30 · idéer: 30
genomgång · räknas inte
hinder · alla med länken · listas offentligt · federation på
värd: dess värd (förseglat)
personer: 30 · idéer: 30 · 2 grupper
Pass → · Logik → · protokoll
↗ dela den här kartan
På en annan webbplats, som levande karta:
Som bild: https://truecauses.org/d/6708d57/map.svg
Som data: varje bedömt par i det här rummet (CSV). Varje påstående har en egen adress, /c/6708d57/<card>, listad under kartan.
Ange källa när du publicerar: Causal map: True Causes, https://truecauses.org/d/6708d57
FRÅGAN

Why does the same outage keep recurring?

Föreslå vad som ska göras, och bedöm sedan om varje åtgärd skulle påverka varje rot.

Förseglat för 23 dagar sedan: det här rummet vet inte längre vilka som satt i det; bara värden är fortfarande namngiven. Det som rummet kom fram till står kvar.
30 vid bordet (simulerade: 29) · 3 åtgärder föreslagna mot 6 rotorsaker. Lägg till en, och bedöm sedan om varje åtgärd påverkar varje orsak.
Du tittar som gäst. Ange ett användarnamn för att gå med och delta.
Poängsätt rotorsakerna först
varför
Metodens egen praxis, innan någon åtgärd föreslås: varje rotorsak poängsätts 1–5 efter hur genomförbart det är att åtgärda den, hur stor effekt det skulle få att åtgärda den, och hur troligt det är att den löser sig själv utan ingrepp. Prioritet går till rötter med stor effekt, hög genomförbarhet och låg sannolikhet att lösa sig själva — prioritet = effekt + genomförbarhet − sannolikhet. Poängen räknas om till ett genomsnitt för gruppen och visas med hur många som poängsatte.
1 = låg, 5 = hög. Dina egna poäng; gruppens genomsnitt bredvid.
rotorsakgenomförbareffektlöser sig självprioritet
The service map in the wiki is two years old––––
One engineer knows how the payment path actually works––––
Feature flags are never cleaned up, so nobody knows which paths are live––––
The on-call rota has the same two people on it most weeks––––
Rollbacks take longer than the outage they are meant to end––––
Alerts fire so often that on-call mutes them––––
Skulle varje åtgärd påverka varje rotorsak?
Längs sidan: de åtgärder som folk föreslog. Längs toppen: de rotorsaker som kartan hittade. Varje ruta är en röst om en fråga — skulle den här åtgärden i betydande grad minska den orsaken? En sida måste nå 75 % av de avgivna rösterna för att avgöra den; annars förblir rutan delad. Varje ruta visar hur rösterna föll — ja / värre / nej — och en ruta är avgjord när ett av dem når tre fjärdedelar.
varför
Besvaras vid 75 % av avgivna röster, som varje annan fråga här. Delad betyder att folk röstade och att ingen sida nådde den gränsen — det är ett resultat, inte en kö, och rutan förblir delad tills tillräckligt många ändrar sig. En ruta som ingen avgör förblir oavgjord; den blir aldrig ett nej. Att bedöma varje par för sig är det som hindrar att en populär åtgärd får äran för att lösa saker den inte rör.
ÅTGÄRDROTORSAKER · minskar åtgärden till vänster det?
The service map in the wiki is two years oldOne engineer knows how the payment path actually worksFeature flags are never cleaned up, so nobody knows which paths are liveThe on-call rota has the same two people on it most weeksRollbacks take longer than the outage they are meant to endAlerts fire so often that on-call mutes them
No production deploy after 14:00 on Fridays unless the on-call engineer agrees diskutera✗ nej, den gör det inte
3 ja / 0 värre / 26 nej
⚑ gruppen blev delad
21 ja / 0 värre / 8 nej
inte avgjort än
inte avgjort än
inte avgjort än
inte avgjort än
Give the shared schema one named owner and a migration tool with rollback diskutera✗ nej, den gör det inte
6 ja / 0 värre / 23 nej
✓ ja, den minskar detta
24 ja / 0 värre / 5 nej
inte avgjort än
inte avgjort än
inte avgjort än
inte avgjort än
Reserve one engineer-week per sprint for post-mortem actions, first in the sprint, not last diskutera✗ nej, den gör det inte
4 ja / 0 värre / 25 nej
✗ nej, den gör det inte
3 ja / 0 värre / 26 nej
inte avgjort än
inte avgjort än
inte avgjort än
inte avgjort än
Störst hävstång hittills
Give the shared schema one named owner and a migration tool with rollback minskar 1 av 6 rotorsaker
ÅTGÄRDERNA PÅ KARTAN
Visar alla åtgärder som rummet bedömde: det verkar direkt på 1 av de 6 rotorsakerna. Det verkar inte direkt på 5.
Avläst ur de rutor som rummet avgjorde i fasen Åtgärder, inget annat. En rot i grönt minskas av minst en av de visade åtgärderna; i grått verkar ingen av dem direkt på den; en röd ram betyder att en av dem försämrar den.
Dela den här vyn: som bild · som levande karta för en annan webbplats
The same three services cause most of the pages → The staging environment does not resemble productionFeature work always outranks reliability work in planning → Post-mortem actions are written up and then never scheduledRollbacks take longer than the outage they are meant to end → Reliability has no budget line of its ownEvery team has its own logging format → Customers report outages before monitoring doesReliability has no budget line of its own → The incident channel fills with people asking for status instead of giving itReliability has no budget line of its own → The staging environment does not resemble productionPost-mortems assign actions to people who were not in the room → Post-mortem actions are written up and then never scheduledTests that fail intermittently are retried until green → Customers report outages before monitoring doesRetries are unbounded, so a slow dependency becomes a flood → The same three services cause most of the pagesAlerts fire so often that on-call mutes them → Every team has its own logging formatThe on-call rota has the same two people on it most weeks → Post-mortem actions are written up and then never scheduledThe on-call rota has the same two people on it most weeks → Alerts fire so often that on-call mutes themFeature flags are never cleaned up, so nobody knows which paths are live → The same three services cause most of the pagesFeature flags are never cleaned up, so nobody knows which paths are live → Rollbacks take longer than the outage they are meant to endOne engineer knows how the payment path actually works → The on-call rota has the same two people on it most weeksThe service map in the wiki is two years old → Feature flags are never cleaned up, so nobody knows which paths are liveFeature work always outranks reliability work in planningFeature work alwaysoutranks reliability workin planningPost-mortems assign actions to people who were not in the roomPost-mortems assign actionsto people who were not inthe roomTests that fail intermittently are retried until greenTests that failintermittently are retrieduntil greenRetries are unbounded, so a slow dependency becomes a floodRetries are unbounded, so aslow dependency becomes afloodOne engineer knows how the payment path actually works ② Give the shared schema one named owner and a migration tool with rollbackOne engineer knows how thepayment path actually works②vad de visade åtgärderna gör med den här rotorsakenMINSKAS AV 1 ÅTGÄRDThe service map in the wiki is two years oldThe service map in the wikiis two years oldvad de visade åtgärderna gör med den här rotorsakenINGEN ÅTGÄRD VERKAR DIREKTPÅ DENFeature flags are never cleaned up, so nobody knows which paths are liveFeature flags are nevercleaned up, so nobody knowswhich paths are livevad de visade åtgärderna gör med den här rotorsakenINGEN ÅTGÄRD VERKAR DIREKTPÅ DENThe on-call rota has the same two people on it most weeksThe on-call rota has thesame two people on it mostweeksvad de visade åtgärderna gör med den här rotorsakenINGEN ÅTGÄRD VERKAR DIREKTPÅ DENRollbacks take longer than the outage they are meant to endRollbacks take longer thanthe outage they are meantto endvad de visade åtgärderna gör med den här rotorsakenINGEN ÅTGÄRD VERKAR DIREKTPÅ DENAlerts fire so often that on-call mutes themAlerts fire so often thaton-call mutes themvad de visade åtgärderna gör med den här rotorsakenINGEN ÅTGÄRD VERKAR DIREKTPÅ DENThe same three services cause most of the pagesThe same three servicescause most of the pagesPost-mortem actions are written up and then never scheduledPost-mortem actions arewritten up and then neverscheduledReliability has no budget line of its ownReliability has no budgetline of its ownEvery team has its own logging formatEvery team has its ownlogging formatThe incident channel fills with people asking for status instead of giving itThe incident channel fillswith people asking forstatus instead of giving itThe staging environment does not resemble productionThe staging environmentdoes not resembleproductionCustomers report outages before monitoring doesCustomers report outagesbefore monitoring does
Varje nummer på kartan markerar en rotorsak som den åtgärden minskar.
① No production deploy after 14:00 on Fridays unless the on-call engineer agrees
② Give the shared schema one named owner and a migration tool with rollback
③ Reserve one engineer-week per sprint for post-mortem actions, first in the sprint, not last
Vad vi förväntar oss ska följa
Förutsägelser om åtgärderna: vad var och en ska förändra, hur det mäts och när det ska kontrolleras. På datumet skriver någon som var i rummet bredvid vad som faktiskt hände.
varför
En karta säger vilka åtgärder som påverkar vilka orsaker. Den säger inte om någon genomförde dem, eller om något förändrades. En post här är en förutsägelse med ett datum och något att mäta, skriven efter att kartan blev avgjord. När datumet kommer skrivs det som faktiskt hände bredvid, och förutsägelsen står kvar som den var: en felaktig är den användbara sorten. Ingen röstade om något av detta, och det ändrar inget som rummet kom fram till.
senast 23 Jan 2027
åtgärdNo production deploy after 14:00 on Fridays unless the on-call engineer agrees
vi förväntar ossthe same cause stops coming back once fixing it is in the sprint
mätt medrepeat outages with the same cause, per quarter
gissningarrummet: 3 (median av 15, spridning 1 till 6)