隨著人工智慧技術的快速演進，如何客觀衡量 AI 系統的效能成為業界關注焦點，MLCommons 與 BenchCouncil 等多家評測組織都有針對資料中心與高效能運算、AI 等系統的基準測試，可以觀察這些資料的呈現，了解目前 AI 運算領域的伺服器採購與效能排名，也觀察市場上大廠們選 NVIDIA 還是 TPU 的考量，自研晶片的優點等等，看下一代伺服器選型策略。
MLPerf Inference 生成式 AI 效能
被視為 AI 產業標準的 MLPerf 基準測試，由 MLCommons 公布 Inference 資料中心推論評測結果，評測重點聚焦於生成式 AI 模型，特別是擁有龐大參數量的語言模型，測試項目新增了包括 DeepSeek R1 推理模型、Llama 3.1 8B 以及 Whisper Large v3 語音轉文字模型，顯示出業界對於處理複雜推論任務的高度需求，推論場景更複雜、多模態整合加深、模型參數量快速膨脹。
NVIDIA 仍是核心領導者，在硬體效能方面，NVIDIA 依舊展現出強大的統治力，其 Hopper 與最新的 Blackwell 架構 GPU 在各項測試中表現亮眼，成為眾多伺服器廠商的首選加速器，值得注意的是，HPE（慧與科技）在本次評測中表現極為突出，其搭載 NVIDIA GPU 的 ProLiant DL380a Gen12 等伺服器系統，在包含電腦視覺與大型語言模型等多個類別中，一舉拿下了 14 項效能第一的佳績，展現了軟硬體整合的優異實力。
Lenovo（聯想）同樣不遑多讓，旗下的 ThinkSystem SR650a V4 與 SR680a V3 伺服器在通用 AI 推論與大型語言模型工作負載中表現優異，特別是在 Llama 2 70B 的測試項目中取得了領先地位，確立了其在資料中心 AI 解決方案的競爭力，此外 Qualcomm（高通）的 Cloud AI 100 系列則持續在能源效率比（Performance per Watt）上保持優勢，為追求低功耗高效能的資料中心提供了另一種選擇，而 AMD 亦透過 Instinct MI355X 參與測試，試圖在由 NVIDIA 主導的市場中爭取更多話語權。
BenchCouncil 近期大會與過往測試
除了商業導向的 MLPerf，目前正舉辦 2025 年評價科學與工程大會 (Bench 2025) 的 BenchCouncil ，之前推出的 HPC AI500 基準測試則更專注於高效能運算與 AI 的結合，旨在評估大規模 AI 系統在科學計算與商業應用中的表現，包括大型科學研究方案、氣候模擬、自動駕駛資料湖與影像辨識的驗證舞台，比方說之前的 HPC AI500 採用了「有效浮點運算量」（Valid FLOPS）作為核心指標，不僅看重運算速度，更強調在達到目標準確度下的實際運算能力。
根據 BenchCouncil 之前公布的評測排行，Google 依靠大規模 TPU 叢集已經展現出驚人效能與擴展性，時至今日，2025 年 Google 已在多個內部 LLM 訓練專案中使用 TPU v6，其擴展性強於一般 GPU 叢集。 Google 最新的 TPU v7 Ironwood 也獲得市場上的高度重視，並有 Anthropic、Meta 等企業的大筆金額新訂單。
如果觀察 BenchCouncil 他們的測試方法，主要是將系統劃分為硬體、系統軟體、AI 加速器、框架等多個層級，完整評估CPU（運算控制）、GPU / AI 加速器、系統軟體與排程器、AI 框架（如 Megatron-LM、DeepSpeed）、叢集網路（如 Infiniband、Tofu、Google ICI），去接近實際研發環境，而非單純的推論吞吐量比較。
TPU 來勢洶洶，有可能在 2026 年獲得更多市佔率
CyberQ 綜合觀察多家的評測結果，我們可以發現 AI 算力市場呈現出多元發展的趨勢，在通用資料中心推論方面，NVIDIA 透過與 HPE、Lenovo 等伺服器公司的緊密合作，持續鞏固其市場領導地位，Hopper → Blackwell → Rubin 架構路線清晰。
Google 主力則是近期市場最熱門的 AI 專用 ASIC（TPU v6、TPU v7）。這些系統對 LLM 訓練、大規模氣候模型、醫療影像分析有強大優勢。
Qualcomm、AMD、部分自研 ASIC 、自研晶片的優勢持續上升，在 AI 機房用電成本暴增（Google、Meta、Microsoft 皆報告近年能耗超過預期），讓能效成為企業採購的核心 KPI，這也是為何近年各家自研晶片，包括 Antrophic、Google 、Broadcom 等都積極布局，特別是 TPU 已經成為市場上的當紅產品。
對於採購 AI 基礎設施的公司而言，未來的資本投入和技術選型，牽動著 NVIDIA 、Google TPU 與其他自研晶片的市場發展和動向，在瞬息萬變的技術浪潮中，確實需要做出最精準的決策。
本文題圖為 ComfyUI 搭配 Z-Image Turbo AI 模型生成
