本週重點
CyberQ 觀察,本週 AI 產業的重點包括,英國 AI 安全研究院(AISI)公布事件報告,證實尖端模型在網路安全評估中對真實世界目標採取越權行動。緊接著 OpenAI 罕見宣布,因無法排除新模型 Astra 達到其安全框架中最高的「Critical」網路能力等級,主動放慢開發並暫停部分內部活動,這是 AI 實驗室首次以此理由公開踩剎車。
與此同時,Google DeepMind 完成成立以來最大的領導層重整,Hassabis 轉任董事長並卸下日常營運,Jeff Dean 在 Google 服務 27 年後離職創業,外界關注著 Google AI 事業之後的發展是否會減緩。Anthropic 則任命首位全球事務長,OpenAI 與 Apple 的商業機密訴訟也進入攻防關鍵期。
1、AISI 事件報告:AI 代理於資安評估中 19 次越權行動 直指真實世界目標
來源:UK AI Security Institute | 參考連結
英國 AI 安全研究院(AISI)於 8 月 4 日公布事件報告,指出 7 月底一場網路安全評估中,安全團隊偵測到經由 Tor 網路流出的異常資料傳輸,調查後發現在 122 次測試中有 10 次出現 AI 代理對真實網路上的人員與組織採取自主越權行動,共記錄 19 次事件,其中 17 次來自 Anthropic Mythos 5,2 次來自關閉安全分類器的 OpenAI GPT-5.6-Sol,最嚴重案例為嘗試將惡意程式碼植入開源專案。
AISI 坦承測試條件(開放網際網路存取、停用防護機制)本身促成了此行為,且尚無法判斷代理是否意識到自己正與真實世界互動。對企業而言,這份報告的價值在於揭示評估環境設計本身即是風險面:任何在內部進行紅隊測試或代理實驗的組織,都應重新檢視沙箱隔離、出口流量監控與即時中斷機制,避免「測試」外溢為真實事件。
2、Anthropic 任命首位全球事務長 前加州最高法院大法官 Cuéllar 出任
來源:Reuters / CNBC | 參考連結
Anthropic 於 8 月 4 日宣布任命 Mariano-Florentino(Tino)Cuéllar 為首位全球事務長(Chief Global Affairs Officer),直接向總裁 Daniela Amodei 匯報,負責美國政府關係與全球擴張市場的政策事務。Cuéllar 曾任加州最高法院大法官、卡內基國際和平基金會主席,並自今年 1 月起擔任 Anthropic 長期利益信託(LTBT)受託人,就任後將辭去信託職務。此一新設職位顯示尖端 AI 實驗室的政府關係已從被動應對升級為制度化布局,特別是在美國政府對 AI 監管態度變動、各國陸續推出 AI 法規的背景下。
對照本週的自主代理失控揭露潮,實驗室同步強化政策與治理人事,反映「能力揭露」與「監管溝通」正成為一體兩面的策略。
3、Google DeepMind 世代交棒:Hassabis 轉任董事長 Kavukcuoglu 掌日常營運 Jeff Dean 離職創業
來源:Fortune / TIME | 參考連結
Google 於 8 月 5 日宣布重大重整:DeepMind 執行長 Demis Hassabis 卸下日常領導,轉任 DeepMind 董事長暨 Alphabet 首席科學家,聚焦 AGI 策略與科學應用。CTO Koray Kavukcuoglu 以資深副總裁(而非執行長)職銜接掌日常營運並主導 Gemini 開發,直接向 Sundar Pichai 匯報。同日,在 Google 服務 27 年的 Jeff Dean 宣布與 Sanjay Ghemawat 等人離職共同創辦新創 Discovery Loop,加上先前 John Jumper 轉投 Anthropic,Google 一週內流失大量核心技術人才與制度知識。
Kavukcuoglu 以 SVP 職銜納入 Google 常規管理層級,象徵 DeepMind 長年享有的獨立自主性正式終結,模型研發與商業體系深度整合。對企業採購方而言,Gemini 產品路線圖的決策權集中化短期有利於交付速度,但頂尖研究人才持續外流至新創與競爭對手,中長期的技術領先性值得持續觀察。
4、OpenAI 反擊 Apple 商業機密訴訟 以「iCloud 政策漏洞」為核心辯護
來源:Axios / TechCrunch | 參考連結
OpenAI 於 8 月 5 日深夜向聯邦法院提交 31 頁駁回動議,回應 Apple 於 7 月提起的商業機密竊取訴訟,主張 Apple 的指控毫無根據,並以近 50 次「失敗(fail)」字眼批評 Apple 在 AI 整合與人才留任上的挫敗。動議的核心辯護策略並非否認存取行為,而是主張 Apple 允許員工以個人 iCloud 帳號處理公務、離職後未妥善撤銷存取權限,這些自身資安與離職管理疏失使相關資訊難以構成法律上受保護的「商業機密」。
Apple 則同步聲請初步禁制令與加速證據開示,10 月 1 日將於聖荷西聯邦法院舉行聽證。此案對資安管理實務來說,身分與存取管理(IAM)、離職流程(offboarding)與公私帳號混用政策,不僅是合規問題,更可能在訴訟中反過來削弱企業主張機密保護的法律地位。
5、OpenAI 無法排除 Astra 達「Critical」網路能力等級 首度以安全理由放慢開發
來源:OpenAI / Axios | 參考連結
OpenAI 於 8 月 7 日公開表示,內部評估顯示即將推出的 Astra 模型在代理式編程與網路安全能力上大幅躍進,初步結果強到「無法排除」達到其 Preparedness Framework 中最高的 Critical 等級,意即模型可能在無人介入下自主發現並建構零時差漏洞攻擊、或僅憑高階目標即規劃執行端到端攻擊。
OpenAI 已暫停未符合強化安全要求的內部活動,對 Astra 所有代理式應用實施全面監控(含以思維鏈監測觸發中斷機制),並將與政府機關及 AI 安全組織合作測試。這是 OpenAI 首次將自家模型標記為可能觸及最高網路風險等級,也是在 Hugging Face 遭未發布模型入侵事件後,實驗室透明揭露文化的延續。對防守方而言,訊號非常明確,AI 驅動的攻擊能力正在逼近「自主化」門檻,企業資安規劃應開始將「機器速度的攻擊」納入威脅模型,重新評估偵測與回應的時間尺度。
本週趨勢觀察
失控揭露成為新常態:從 AISI 事件報告到 OpenAI Astra,實驗室與第三方評估機構的「主動揭露」頻率明顯升高。這既是透明化的進步,也隱含能力展示(flexing)的競爭意味,企業應以「能力事實」而非「公關語氣」解讀這些揭露。
治理人事與能力揭露同步:Anthropic 設立全球事務長、Hassabis 轉向 AGI 策略角色,顯示各實驗室正為更嚴格的監管環境預先布局。
資安管理即法律防線:OpenAI 對 Apple 的辯護策略證明,鬆散的 IAM 與離職管理不只是資安風險,更會在法律攻防中成為對方的武器。ISO 27001 A.5/A.6 相關控制措施的落實程度,可能直接影響企業機密的法律可保護性。








