很多團隊的 RCA 是事故隔天早上趕出來交差的:一段道歉、一句「已修復」、一句「會加強測試」。這種報告的讀者是老闆,目的是讓事情結束。我的看法相反,RCA 真正的讀者是半年後半夜被叫醒的那個值班工程師,目的是讓同一件事不要再發生。
01反駁一:「找到是誰弄的,就找到根因了」
某人下錯指令、某人合併了沒測過的程式,這些是觸發點,不是根因。真正要問的是:為什麼系統允許一個人單獨做這件事而沒有任何攔截。Google SRE 書第 15 章談 blameless postmortem,講的就是這件事,報告要找出促成事故的條件,而不是指責個人或團隊,否則大家會因為怕被罰而把問題藏起來。
我在團隊裡的做法是:報告裡不寫人名,只寫角色。「值班工程師在 02:14 執行回滾」,而不是「小王在 02:14 執行回滾」。寫的人會比較敢交代細節,讀的人也比較容易把焦點放在流程上。
02反駁二:「寫得越短越好,老闆沒時間看」
給老闆的版本可以短,三行就夠:影響範圍、持續時間、下一步。但工程團隊用的本體要完整,最重要的是逐分鐘的時間軸。從第一個異常指標出現、告警發出、有人回應、找到方向、執行修復、確認恢復,每一個時間點都要寫下來,並標註資訊來源是監控、日誌還是聊天紀錄。
時間軸攤開,很多問題自己會跳出來。告警 02:03 發出、02:14 才有人處理,那 11 分鐘去哪了。是通知沒響、還是值班表錯了。這些空白段,往往比觸發點更值得修。
03反駁三:「改善措施寫『加強測試』就好」
「加強測試」「提高警覺」「加強溝通」這三句,我一律退回。改善項目要能驗收:要加哪一個測試案例、在哪一個 CI 階段跑、誰負責、哪天之前完成。寫不出這四個欄位的,就不是改善項目,是心願。
我會用「五個為什麼」往下追。服務掛了,因為資料庫連線耗盡;為什麼耗盡,因為某支批次程式沒有釋放連線;為什麼沒發現,因為測試環境的連線上限比正式環境寬鬆;為什麼不一致,因為環境設定是各自手動維護的。追到這層,改善項目就從「修那支程式」變成「環境設定改用同一份檔案管理」。直接解問題是 60 分,找到根本問題是 80 分,解決根本問題是 100 分。
04一份可用的 RCA 欄位
我用的範本有七個欄位:1. 摘要,三句話內。2. 影響,受影響的客戶數、功能、持續分鐘數。3. 時間軸,逐分鐘。4. 觸發點與根因,分開寫。5. 做得好的地方,例如告警準時、回滾腳本有效。6. 改善項目,每項含負責角色與期限。7. 未解問題,誠實列出還不知道的事。
第 5 欄常被省略,但它很重要。只記錄失敗的報告,會讓大家以為整個流程都爛;把有效的部分寫下來,下次才知道哪些不要動。
05什麼時候一定要寫,以及寫完之後
觸發條件要事先定好,不要每次出事才討論要不要寫。SRE 書列的例子包括使用者可見的停機超過門檻、任何資料遺失、需要值班人員介入回滾、修復時間超過門檻、監控沒抓到而靠人工發現。我會直接照抄這張清單,再依 SLA 補上門檻數字。
寫完之後,改善項目要進到跟一般需求同一個待辦系統,每週站會追進度。RCA 寫完放在共用資料夾就結束的團隊,同一類事故通常會在三個月內再來一次。我在做 ISO 27001 稽核準備時也發現,稽核員最常調閱的不是報告本身,而是改善項目有沒有真的關單。
資料來源
文中數字與法規均出自下列正式資料,引用時請以原始出處為準。