微軟 365 全球大當機逾 24 小時,潛伏三個多月的程式缺陷成禍首

in , ,
閱讀時間: 8 分鐘

微軟 Microsoft 365 在 11 月 12 日(台灣時間 13 日凌晨)發生全球大規模中斷,Outlook 與 Exchange Online 首當其衝,Copilot、Defender 等需要與 Exchange Online 互動的功能也一併受影響。微軟狀態頁上的事件從台灣時間 13 日凌晨開立,到 14 日中午前後才發出最後一則客戶更新,前後超過一天。英國醫院改用紙本紀錄、警方請民眾改用電話報案,台灣也有金融業者被迫用傳真確認交易。

微軟負責 Copilot、代理程式與平台業務的執行副總裁拉曼那(Charles Lamanna)16 日公布初步事後報告摘要,確認禍首並非資安入侵,而是一個 7 月就開始部署、卻潛伏三個多月的程式缺陷,在額外負載與容量不足同時出現時被引爆。

事件時間軸

UTC台灣時間事件
11/12 01:0711/12 09:07Teams 從備用網路閘道容錯移轉到主要閘道,主要閘道同時服務 Exchange Online
11/12 16 時許11/13 0 時許約 15 小時後,主要閘道在美國流量尖峰時段觸發缺陷,伺服器陸續停止回應
11/12 16:3311/13 00:33第一件客戶支援案
11/12 18:2611/13 02:26微軟狀態頁開立事件 EX1550543(Exchange Online)與 MO1550821(Microsoft 365)
11/13 07:2011/13 15:20開始分批套用修正
11/13 13:00 到 13:2011/13 21:00 到 21:20本站實測台灣 Outlook 恢復連線
11/14 04:1511/14 12:15微軟發出最後一則客戶更新
11/1511/15初步事後報告(PIR)發布於 Microsoft 365 系統管理中心
11/16 06:0611/16 14:06拉曼那在 X 公布初步報告摘要
11/20(預定)11/20(預定)最終事後報告

三項肇因同時出現

拉曼那把這次事件歸納為三個因素,共同造成承接 Microsoft 365 多項服務流量的網路閘道全球失效。

第一,潛伏的程式缺陷

一項專為 Microsoft 365 網路閘道伺服器準備的修正,會在特定負載下讓內部處理程序發生鎖競爭(lock contention),伺服器因此停止回應。這項修正 7 月開始部署,走完安全部署流程,花了數週部署到全球,之後三個多月都沒有出事。拉曼那特別說明,缺陷與修正都只用在這批閘道伺服器,不適用於一般 Windows 部署,企業自己的 Windows 主機不需要因此另外修補。

第二,負載增加

微軟維持兩套彼此獨立、架構不同的網路閘道系統,讓各項服務在中斷時可以互相切換。事發約 15 小時前,Teams 從備用閘道容錯移轉到同時服務 Exchange Online 的主要閘道,增加了主要閘道的負載,也改變了流量型態。拉曼那強調,這類切換屬於日常維運,本身就是韌性設計的一部分。

第三,容量不足

同一時間,主要閘道近 14% 的伺服器容量因為前一天另一起無關的問題暫停服務,原本預計經由例行維護與健康檢查流程陸續歸隊。單看這點,剩餘容量仍有餘裕,本身不會造成影響。

三者疊加之後,負載上升、容量下降,在美國流量尖峰時段觸發了 7 月的缺陷,請求越積越多,伺服器最終停止回應。

從單台伺服器到全球:連鎖失效與失守的隔艙

CyberQ 分析指出,伺服器失聯時,流量管理系統會自動把使用者導向其他健康的端點。這平常是讓服務不中斷的關鍵機制,這次卻把同樣的負載集中到更少的伺服器上,提高其餘伺服器觸發同一缺陷的機率,故障因此一台接一台擴散。不到兩小時,缺陷遍及整個閘道機群,最糟時超過 80% 的伺服器沒有回應。

這套閘道原本切分成數千個「容量單元」,再依區域組織,區域之間應該有隔艙(bulkhead)阻擋故障外溢。微軟表示,因為另一個問題,這些隔艙沒有擋住連鎖失效,影響才擴及全球。

Teams、OneDrive、SharePoint 與 Office 應用程式可以切離故障的閘道,所以較早恢復,Teams 聊天與會議在大部分時間仍可使用。Exchange Online 無法切離這套閘道,Outlook 因此斷得最久。

潛伏三個多月的缺陷,為什麼測不出、退不回

測不出

這種鎖競爭的問題,在核心數越多、越新的硬體上越嚴重,但微軟的負載測試偏重核心數較少的舊硬體規格(SKU),測試實驗室的流量與硬體組合也和線上不同,所以沒有抓到這個問題。

退不回

回復(rollback)、分批發布(flighting)與功能旗標,適合處理最近的變更,這個缺陷早在數月前部署,這些機制都無法快速把它撤回。工程師確認根因後,另外開發一個更新,把程式路徑恢復到先前已知良好的狀態。

修得慢

伺服器一恢復服務,就被排隊等候的流量壓垮,再度失去回應,而平常的自動復原流程,本來就不是為這種大範圍無回應狀態設計。最後只能分批把伺服器移出服務、套用修正、重新啟動後再放回,每次處理的量可達一個區域的一半以上。本站 13 日在台灣的實測也看到類似現象,台北節點本身已能服務後,又過了將近兩小時,流量調度才把台灣使用者導回。

波及醫療、警政與金融

英國

部分 NHS 醫療單位改用紙本紀錄,並取消部分門診預約;警方呼籲民眾改撥 101 或 999,不要透過線上報案,倫敦警察廳部分線上報案功能也無法使用;學校與大學無法收發電子郵件。英國也有刑事審判因此延期。

台灣

據路透社報導,一家台灣金融公司因系統異常,被迫回歸傳真機確認交易,另有業者取消一筆債券買回作業。

規模

Downdetector 累計超過 740 萬筆回報,回報來自 74 個國家與地區。

微軟從事件初期就表示沒有發現惡意活動,也排除與資安攻擊或 AI 代理有關。

官方說法的演變與後續

13 日微軟官方 X 帳號一度把原因描述為先前一次網路容量升級的問題,在近期一項網路變更後浮現,同一天也提到伺服器無法通過自動健康檢查,16 日拉曼那的版本則把主因指向 7 月的潛伏缺陷,前一天的容量下線只是三個因素之一。兩種說法如何對應,有待 11 月 20 日的最終事後報告說明。

美國眾議院國土安全委員會主席加巴里諾(Andrew Garbarino)表示,要向微軟與美國網路安全暨基礎設施安全局(CISA)了解事發經過,以及如何讓這些系統更有韌性。

企業可以做什麼

CyberQ 建議,以下是我們一般公司可以盤點和部署實作的。

備妥不經 Microsoft 365 的聯絡管道

這次 Teams 大致可用,下次故障點未必相同。緊急聯絡名單與通報群組應有第二套管道,例如其他供應商的訊息工具、簡訊或電話聯絡網,並保存一份離線版本。

確認郵件沒有遺失

微軟在中斷期間把郵件逾時時限延長為 48 小時,寄件端伺服器通常也會自動重試。恢復後仍應用訊息追蹤找出被退回或嚴重延遲的郵件,對重要往來對象主動補發或通知。

離線作業程序要演練過

英國醫院改用紙本、台灣金融業改用傳真,都是事前有備案才做得到。企業應列出信箱或協作平台停擺時會卡住的流程,準備替代表單與確認方式,並定期演練。

管理員要有不依賴系統管理中心的狀態來源

系統管理中心本身也可能打不開,微軟會把重大事件同步到免登入的 status.cloud.microsoft 與 @MSFT365Status。

恢復後回頭稽核

中斷期間,依賴 Exchange Online 的資料外洩防護(DLP)、敏感度標籤與 Defender for Office 365 政策可能延遲或失效,恢復後應檢查稽核紀錄,確認沒有本該攔下卻放行的郵件或文件。

檢視合約條款

雲端服務的服務抵免通常不會自動發放,需要由管理員在期限內提出申請,可趁這次檢視與微軟或經銷商的 SLA 條款與申請期限。

CyberQ 觀點

這次事件沒有單一的錯誤變更,一個測不出的舊缺陷、一次正常的容錯移轉、一批還沒歸隊的伺服器,各自都不足以造成故障,疊在一起卻讓全球閘道失效。對自建系統的團隊,有三點值得留意。

第一,負載測試要涵蓋線上最新、核心數最多的硬體。鎖競爭這類問題往往只在高核心數機器上浮現,用舊規格測出來的沒問題,其實不能拿來外推你手上的機器也都呒沒問題。

第二,回復機制多半只對最近的變更有效,數月前部署的程式碼要有另一套回到已知良好版本的方法,並且演練過。

第三,自動容錯移轉與流量重導是韌性的來源,也可能是故障的放大器,隔艙是否真的擋得住連鎖失效,要自己先實際測過才知道。

對使用雲端服務的企業來說,服務出事時無法加速供應商修復,能決定的只有自己停擺多久。把替代聯絡管道、離線作業與恢復後的稽核納入日常維運,才能在下一次大規模中斷時把衝擊降到最低。

CyberQ 本文依微軟初步事後報告撰寫,最終報告預定 11 月 20 日公布,屆時將補充更新。

延伸閱讀