起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識記一次IT系統故障處理及復盤
最近有個項目遇到了一次重大故障，引起甲方負責人的高度重視，并直接@我們的Leader，從故障發生到基本解決，我們花了兩天時間。本文是關于這次故障的復盤和總結。
最近有個項目遇到了一次重大故障，引起甲方負責人的高度重視，并直接@我們的Leader，從故障發生到基本解決，我們花了兩天時間。
之后項目組還花了近兩個小時進行了復盤及總結：
（1）故障發生的原因。
（2）故障解決辦法。
（3）如何防止故障再次發生：
- 加強預警機制，快速發現問題；
- 發生警告通知項目組內成員，而不只是其中一兩個成員；
- 重視預警，收到預警需在2小時內解決。
（4）如果再次發生此類問題，應如何解決。
通過復盤會議，大家達成了一致共識并討論應對方案，改進后續的工作。但還有一個問題，引起了我的思考：
這類故障并不是第一次發生，為什么之前沒有得到很好的解決？
作為項目的主要負責人，之前發生此類故障，我是如何跟進處理的？
通知后臺程序員，程序員一般進行重啟或開啟多個線程，等上一天，基本可以解決問題。
然后大家各忙各的，并沒有正式進行復盤故障原因及防止故障發生的辦法。
那為什么沒有進行復盤呢？
（1）針對此類問題，如果需要根治，可能涉及到重構系統。大家并沒有想到簡單并快速的解決辦法，因此治本的辦法就一直擱置。
（2）考慮到這類問題并未引起嚴重的后果，能用簡單的辦法應付就應付，以減少維護成本。
事實證明：簡單應付的辦法，并不能減少維護成本，程序員的工作量看似減少了，但是維護的工作直接傳遞到我身上，系統不完美的地方引起的小問題，導致我跟甲方溝通工作并不少，占用了我一部分的時間
（3）作為項目負責人，我沒有向上級求助，申請資源協助。
我突然意識到要及時向上級求助這一點很重要。
主要是因為我發現Leader很重視這次故障，全程跟蹤并督促相關人員。（之前也發生過類似的故障，但并未深入跟進）
Leader做全程跟蹤的原因之一是：在跟程序員交流問題時，發現這類故障我們居然束手無策，除了等別無他策。
這意味著：以后再次發生這類故障，我們依然沒有辦法解決……于是Leader做了全程重點跟進，跟督促技術負責人進行故障復盤。
之前也發生過類似故障，但是我并沒有積極調動Leader和技術負責人這兩部分資源，沒有向他們傳遞問題的嚴重性，也沒有引起他們的重視。
而我發現問題沒有完美處理方案時，也沒有把遇到這類問題的無奈與無助及時地反饋出來。而是采取短視的方式處理問題，并回避根本性問題。
總結：
- 對于故障問題，就應該進行復盤并建立預防機制。不能因為怕麻煩或者擔心項目組成員情緒問題而放棄，否則引發的工作量將積壓到自己身上。
- IT系統遇到嚴重故障且沒有好的解決辦法時，應第一時間求助Leader，必要時候需要通過Leader調用技術資源來解決問題。（特別是關于涉及改動程序的解決方案，一定要請技術專家一起會診并討論解決方案）
- 對常見問題進行流程設計，讓提問人第一時間知道如何處理，甚至在沒有維護人員的情況下也能自行處理。
本文由 @璇璣魚 原創發布于人人都是產品經理，未經許可，禁止轉載。
題圖來自 Unsplash，基于CC0協議。
- 目前還沒評論，等你發揮！
