微軟 Microsoft 365 在 11 月 12 日(台灣時間 13 日凌晨)發生全球大規模中斷,Outlook 與 Exchange Online 首當其衝,Copilot、Defender 等需要與 Exchange Online 互動的功能也一併受影響。微軟狀態頁上的事件從台灣時間 13 日凌晨開立,到 14 日中午前後才發出最後一則客戶更新,前後超過一天。英國醫院改用紙本紀錄、警方請民眾改用電話報案,台灣也有金融業者被迫用傳真確認交易。
微軟負責 Copilot、代理程式與平台業務的執行副總裁拉曼那(Charles Lamanna)16 日公布初步事後報告摘要,確認禍首並非資安入侵,而是一個 7 月就開始部署、卻潛伏三個多月的程式缺陷,在額外負載與容量不足同時出現時被引爆。
事件時間軸
| UTC | 台灣時間 | 事件 |
|---|---|---|
| 11/12 01:07 | 11/12 09:07 | Teams 從備用網路閘道容錯移轉到主要閘道,主要閘道同時服務 Exchange Online |
| 11/12 16 時許 | 11/13 0 時許 | 約 15 小時後,主要閘道在美國流量尖峰時段觸發缺陷,伺服器陸續停止回應 |
| 11/12 16:33 | 11/13 00:33 | 第一件客戶支援案 |
| 11/12 18:26 | 11/13 02:26 | 微軟狀態頁開立事件 EX1550543(Exchange Online)與 MO1550821(Microsoft 365) |
| 11/13 07:20 | 11/13 15:20 | 開始分批套用修正 |
| 11/13 13:00 到 13:20 | 11/13 21:00 到 21:20 | 本站實測台灣 Outlook 恢復連線 |
| 11/14 04:15 | 11/14 12:15 | 微軟發出最後一則客戶更新 |
| 11/15 | 11/15 | 初步事後報告(PIR)發布於 Microsoft 365 系統管理中心 |
| 11/16 06:06 | 11/16 14:06 | 拉曼那在 X 公布初步報告摘要 |
| 11/20(預定) | 11/20(預定) | 最終事後報告 |
三項肇因同時出現
拉曼那把這次事件歸納為三個因素,共同造成承接 Microsoft 365 多項服務流量的網路閘道全球失效。
第一,潛伏的程式缺陷
一項專為 Microsoft 365 網路閘道伺服器準備的修正,會在特定負載下讓內部處理程序發生鎖競爭(lock contention),伺服器因此停止回應。這項修正 7 月開始部署,走完安全部署流程,花了數週部署到全球,之後三個多月都沒有出事。拉曼那特別說明,缺陷與修正都只用在這批閘道伺服器,不適用於一般 Windows 部署,企業自己的 Windows 主機不需要因此另外修補。
第二,負載增加
微軟維持兩套彼此獨立、架構不同的網路閘道系統,讓各項服務在中斷時可以互相切換。事發約 15 小時前,Teams 從備用閘道容錯移轉到同時服務 Exchange Online 的主要閘道,增加了主要閘道的負載,也改變了流量型態。拉曼那強調,這類切換屬於日常維運,本身就是韌性設計的一部分。
第三,容量不足
同一時間,主要閘道近 14% 的伺服器容量因為前一天另一起無關的問題暫停服務,原本預計經由例行維護與健康檢查流程陸續歸隊。單看這點,剩餘容量仍有餘裕,本身不會造成影響。
三者疊加之後,負載上升、容量下降,在美國流量尖峰時段觸發了 7 月的缺陷,請求越積越多,伺服器最終停止回應。
從單台伺服器到全球:連鎖失效與失守的隔艙
CyberQ 分析指出,伺服器失聯時,流量管理系統會自動把使用者導向其他健康的端點。這平常是讓服務不中斷的關鍵機制,這次卻把同樣的負載集中到更少的伺服器上,提高其餘伺服器觸發同一缺陷的機率,故障因此一台接一台擴散。不到兩小時,缺陷遍及整個閘道機群,最糟時超過 80% 的伺服器沒有回應。
這套閘道原本切分成數千個「容量單元」,再依區域組織,區域之間應該有隔艙(bulkhead)阻擋故障外溢。微軟表示,因為另一個問題,這些隔艙沒有擋住連鎖失效,影響才擴及全球。
Teams、OneDrive、SharePoint 與 Office 應用程式可以切離故障的閘道,所以較早恢復,Teams 聊天與會議在大部分時間仍可使用。Exchange Online 無法切離這套閘道,Outlook 因此斷得最久。
潛伏三個多月的缺陷,為什麼測不出、退不回
測不出
這種鎖競爭的問題,在核心數越多、越新的硬體上越嚴重,但微軟的負載測試偏重核心數較少的舊硬體規格(SKU),測試實驗室的流量與硬體組合也和線上不同,所以沒有抓到這個問題。
退不回
回復(rollback)、分批發布(flighting)與功能旗標,適合處理最近的變更,這個缺陷早在數月前部署,這些機制都無法快速把它撤回。工程師確認根因後,另外開發一個更新,把程式路徑恢復到先前已知良好的狀態。
修得慢
伺服器一恢復服務,就被排隊等候的流量壓垮,再度失去回應,而平常的自動復原流程,本來就不是為這種大範圍無回應狀態設計。最後只能分批把伺服器移出服務、套用修正、重新啟動後再放回,每次處理的量可達一個區域的一半以上。本站 13 日在台灣的實測也看到類似現象,台北節點本身已能服務後,又過了將近兩小時,流量調度才把台灣使用者導回。
波及醫療、警政與金融
英國
部分 NHS 醫療單位改用紙本紀錄,並取消部分門診預約;警方呼籲民眾改撥 101 或 999,不要透過線上報案,倫敦警察廳部分線上報案功能也無法使用;學校與大學無法收發電子郵件。英國也有刑事審判因此延期。
台灣
據路透社報導,一家台灣金融公司因系統異常,被迫回歸傳真機確認交易,另有業者取消一筆債券買回作業。
規模
Downdetector 累計超過 740 萬筆回報,回報來自 74 個國家與地區。
微軟從事件初期就表示沒有發現惡意活動,也排除與資安攻擊或 AI 代理有關。
官方說法的演變與後續
13 日微軟官方 X 帳號一度把原因描述為先前一次網路容量升級的問題,在近期一項網路變更後浮現,同一天也提到伺服器無法通過自動健康檢查,16 日拉曼那的版本則把主因指向 7 月的潛伏缺陷,前一天的容量下線只是三個因素之一。兩種說法如何對應,有待 11 月 20 日的最終事後報告說明。
美國眾議院國土安全委員會主席加巴里諾(Andrew Garbarino)表示,要向微軟與美國網路安全暨基礎設施安全局(CISA)了解事發經過,以及如何讓這些系統更有韌性。
企業可以做什麼
CyberQ 建議,以下是我們一般公司可以盤點和部署實作的。
備妥不經 Microsoft 365 的聯絡管道
這次 Teams 大致可用,下次故障點未必相同。緊急聯絡名單與通報群組應有第二套管道,例如其他供應商的訊息工具、簡訊或電話聯絡網,並保存一份離線版本。
確認郵件沒有遺失
微軟在中斷期間把郵件逾時時限延長為 48 小時,寄件端伺服器通常也會自動重試。恢復後仍應用訊息追蹤找出被退回或嚴重延遲的郵件,對重要往來對象主動補發或通知。
離線作業程序要演練過
英國醫院改用紙本、台灣金融業改用傳真,都是事前有備案才做得到。企業應列出信箱或協作平台停擺時會卡住的流程,準備替代表單與確認方式,並定期演練。
管理員要有不依賴系統管理中心的狀態來源
系統管理中心本身也可能打不開,微軟會把重大事件同步到免登入的 status.cloud.microsoft 與 @MSFT365Status。
恢復後回頭稽核
中斷期間,依賴 Exchange Online 的資料外洩防護(DLP)、敏感度標籤與 Defender for Office 365 政策可能延遲或失效,恢復後應檢查稽核紀錄,確認沒有本該攔下卻放行的郵件或文件。
檢視合約條款
雲端服務的服務抵免通常不會自動發放,需要由管理員在期限內提出申請,可趁這次檢視與微軟或經銷商的 SLA 條款與申請期限。
CyberQ 觀點
這次事件沒有單一的錯誤變更,一個測不出的舊缺陷、一次正常的容錯移轉、一批還沒歸隊的伺服器,各自都不足以造成故障,疊在一起卻讓全球閘道失效。對自建系統的團隊,有三點值得留意。
第一,負載測試要涵蓋線上最新、核心數最多的硬體。鎖競爭這類問題往往只在高核心數機器上浮現,用舊規格測出來的沒問題,其實不能拿來外推你手上的機器也都呒沒問題。
第二,回復機制多半只對最近的變更有效,數月前部署的程式碼要有另一套回到已知良好版本的方法,並且演練過。
第三,自動容錯移轉與流量重導是韌性的來源,也可能是故障的放大器,隔艙是否真的擋得住連鎖失效,要自己先實際測過才知道。
對使用雲端服務的企業來說,服務出事時無法加速供應商修復,能決定的只有自己停擺多久。把替代聯絡管道、離線作業與恢復後的稽核納入日常維運,才能在下一次大規模中斷時把衝擊降到最低。
CyberQ 本文依微軟初步事後報告撰寫,最終報告預定 11 月 20 日公布,屆時將補充更新。
延伸閱讀
- CyberQ:微軟 365 全球大當機逾 21 小時,台灣 Outlook 已恢復、官方仍在收尾
- Charles Lamanna 在 X 公布的初步報告摘要
- ITPro:Microsoft 365 outage: Company exec lifts lid on the “cascading failure”
- The Next Web:Microsoft blames its Microsoft 365 outage on a dormant July update defect
- TechTarget:Microsoft outage puts security monitoring, recovery under review
- The Week:How hospitals, schools and police in UK were hit by Microsoft’s global outage
- Axios:Microsoft outage hits courts, Congress








