AI 需求帶動記憶體架構革新
隨著AI推理的需求增加，更大型的模型、更長的上下文，以及持續增加的 KV 快取，都提高了系統對記憶體容量、頻寬與連線能力的要求。簡單來說，KV快取就像是AI模型推理時的短期記憶。當AI處理長篇文章時，會將前面已經運算過的資料暫時存起來，產生下一個新字時就不需要從頭重新計算，這個用空間換取時間的機制雖然大幅提升了運算速度，但隨著AI需要處理的上下文越來越長，這些快取資料就會愈來愈龐大而迅速塞滿伺服器的記憶體，進而拖慢整體的推理效能。
根據專業儲存媒體 StorageReview 的報導，近日在FMS 2026大會上，Marvell 針對雲端服務與資料中心大廠，發表一系列記憶體基礎架構的技術，主要目標就是讓記憶體與運算資源能夠獨立擴充，進而解決上述問題。
Structera X 實現機櫃級記憶體擴展
為了協助超大型雲端服務業者因應記憶體密集型AI工作負載，Marvell 以既有的 Structera CXL平台為基礎，開發出 Structera X 記憶體擴展解決方案。這項技術主要用來因應大型模型、更長的上下文，以及持續增加的 KV 快取所帶來的記憶體需求，Structera X 支援跨伺服器的資源共享，能夠將記憶體容量與個別伺服器配置脫鉤，提高既有記憶體資源的使用效率，並以更大、更具彈性的記憶體池支援大型模型、長上下文及持續增加的 KV 快取需求。透過 CXL，這套架構可讓多台伺服器彈性擴充並共享記憶體，Marvell預期這種做法將可提高記憶體使用效率，並降低整體建置與營運成本。
光學記憶體技術支援32TB快取資料卸載
在機櫃層級方面，Marvell 的 Photonic Fabric 由光學記憶體模組、網路介面控制器及小晶片等元件組成，可建立橫跨多個機櫃的共享記憶體架構，並連接最遠相距 50 公尺的 XPU 與機櫃，還可支援高達 32 TB 的 KV 值快取卸載至共享光學記憶體層，作為介於高頻寬記憶體與 SSD 之間的快取層，並提供高頻寬、低延遲的資料存取，這樣一來，AI系統就能直接從共享光學記憶體層取得 KV 快取，而不必再從SSD等儲存裝置讀取。Marvell預估，在資料中心既有的空間與功耗限制下，這套架構最多可將 Token 產出量提高至原來的兩至三倍；實際表現仍取決於系統配置、工作負載特性及周邊AI基礎設施。
Photo Credit by Marvell(via StorageReview)
Bravera SC6控制器效能翻倍
針對需要頻繁在高頻寬記憶體與 SSD 之間移動KV快取的AI推理工作負載，Marvell也發表了 Bravera SC6 PCIe 6.0 SSD 控制器，預計於2026年第四季開始提供樣品。Marvell表示，Bravera SC6 的速度可達前一代 Bravera SC5 PCIe 5.0 控制器的兩倍。透過提升快取傳輸效能，SC6 旨在改善AI、雲端及企業工作負載的儲存效率。
Photo Credit by Marvell(via StorageReview)
CyberQ觀點
Marvell這次發布的新技術精準切入了代理式AI發展的核心挑戰，也就是記憶體容量與頻寬的限制。隨著大型語言模型不斷擴充與更長的上下文，傳統依賴單一伺服器的架構已經無法滿足龐大的快取需求，將逐漸面臨容量不足、處理器停滯及資料搬移效率下降等問題。Structera X與光學記憶體技術的推出，透過CXL在伺服器之間擴充及共享記憶體，再利用光學連線將共享範圍延伸至多個機櫃，可能成為緩解AI記憶體瓶頸的重要方向。雲端大廠在建置新一代AI基礎設施時，除了增加GPU數量，也需要同步評估記憶體分離與池化架構，避免記憶體容量及KV快取搬移速度成為AI推理的效能瓶頸。
首圖由 Nano Banana AI 生成
