概要
一家大型云服務(wù)商在本周發(fā)布的系統(tǒng)升級(jí)過(guò)程中出現(xiàn)異常，內(nèi)部日志顯示升級(jí)流程在第7步出現(xiàn)錯(cuò)誤，相關(guān)人員交流記錄中出現(xiàn)“Need to restart from 7?”字樣。該事件導(dǎo)致部分企業(yè)客戶短時(shí)服務(wù)中斷，引發(fā)外界對(duì)自動(dòng)化升級(jí)流程與回滾機(jī)制可靠性的關(guān)注。
事件經(jīng)過(guò)
據(jù)多位未具名的接觸到內(nèi)部信息的工程師描述，周二凌晨該云服務(wù)商啟動(dòng)對(duì)核心控制面板的一次滾動(dòng)升級(jí)，升級(jí)計(jì)劃分為若干步驟（checkpoints），第7步為關(guān)鍵的數(shù)據(jù)庫(kù)模式遷移與緩存刷新。運(yùn)行至此步驟時(shí)，監(jiān)控系統(tǒng)出現(xiàn)異常告警，隨后自動(dòng)化腳本觸發(fā)回滾操作，但回滾并未按預(yù)期完成，系統(tǒng)日志記錄了疑問(wèn)性質(zhì)的內(nèi)部通信“Need to restart from 7?”。
影響范圍與響應(yīng)
公司發(fā)布的簡(jiǎn)短聲明確認(rèn)，部分客戶在事件發(fā)生時(shí)經(jīng)歷了短時(shí)間的API請(qǐng)求失敗與延遲，影響范圍集中在使用該服務(wù)特定區(qū)域的企業(yè)。聲明稱工程團(tuán)隊(duì)已將受影響服務(wù)降至最低影響模式，正在按既定應(yīng)急方案逐步恢復(fù)，并已向監(jiān)管機(jī)構(gòu)做了必要通報(bào)。
專家分析
- 業(yè)內(nèi)自動(dòng)化與DevOps專家指出，分步驟升級(jí)能提高可控性，但依賴單點(diǎn)檢查點(diǎn)的設(shè)計(jì)在異常情況下會(huì)成為瓶頸，若無(wú)充分的冪等處理與審慎的回滾策略，容易出現(xiàn)“半完成”狀態(tài)。
- 信息安全顧問(wèn)表示，升級(jí)過(guò)程中若涉及數(shù)據(jù)庫(kù)模式變更和數(shù)據(jù)遷移，需保證向前與向后兼容性，并應(yīng)事先在真實(shí)流量近似環(huán)境中進(jìn)行演練，以避免生產(chǎn)環(huán)境中出現(xiàn)不可預(yù)期的異常。
客戶與監(jiān)管反應(yīng)
受影響的企業(yè)客戶在社交渠道和客戶支持通道中反映，部分線上業(yè)務(wù)出現(xiàn)短暫中斷，給電商、金融結(jié)算等對(duì)延遲敏感的場(chǎng)景帶來(lái)運(yùn)營(yíng)壓力。監(jiān)管機(jī)構(gòu)就此類云服務(wù)商的業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)能力表示關(guān)注，要求運(yùn)營(yíng)方在限定時(shí)間內(nèi)提交詳細(xì)的事件調(diào)查報(bào)告與改進(jìn)計(jì)劃。
公司后續(xù)措施
公司承諾將進(jìn)行全面的故障根因分析（RCA），包括審查升級(jí)前的自動(dòng)化腳本、回滾邏輯、以及監(jiān)控告警的觸發(fā)閾值。公司還表示將在未來(lái)幾周內(nèi)增設(shè)更多的人工檢查點(diǎn)、擴(kuò)大模擬演練覆蓋范圍，并對(duì)受影響客戶提供專項(xiàng)支持與補(bǔ)償方案。
結(jié)語(yǔ)與展望
此次事件再次提醒云服務(wù)與軟件開(kāi)發(fā)領(lǐng)域，在推動(dòng)自動(dòng)化與持續(xù)交付帶來(lái)高速度的同時(shí)，必須同步提升容錯(cuò)設(shè)計(jì)、回滾可控性與演練覆蓋面。對(duì)于依賴云平臺(tái)的企業(yè)用戶而言，評(píng)估供應(yīng)商的升級(jí)流程透明度與應(yīng)急響應(yīng)能力，將是風(fēng)險(xiǎn)管理的重要組成部分。相關(guān)調(diào)查與改進(jìn)結(jié)果預(yù)計(jì)將在未來(lái)數(shù)周內(nèi)公布，業(yè)內(nèi)將繼續(xù)關(guān)注事件對(duì)行業(yè)最佳實(shí)踐的推動(dòng)作用。
