邊緣端模型部署社群最近有很不錯的技術突破。開源模型執行框架 Ollama 正式發布 0.31 版本，針對蘋果生態系的晶片架構帶來了前所未有的效能躍進。根據 Ollama 官方技術團隊發布的最新報告指出，在結合了 Apple 開源的 MLX 機器學習框架與全新的「多 Token 預測」（Multi-Token Prediction, MTP）技術後，Gemma 4 系列模型在 Apple Silicon 平台上的開發者代理測試中，平均生成速度大幅提升了將近九成。這項最佳化機制在更新後為預設開啟，且在完全不改變模型原本輸出品質的前提下，為桌上型與筆記型電腦的在地端推理注入了強大動能。
MTP 技術原理解析：多 Token 預測與動態草稿長度
傳統的大型語言模型在解碼時，往往採用單次生成單一 Token 的自迴歸模式，這在許多邊緣端硬體上容易受限於記憶體頻寬。而此次技術更新的核心在於協同運作的三種創新機制，動態調整草稿長度、核心引擎協同作業以及顯示晶片排程效率的提升。
我們其實在之前測試 DS4 實作時，已經成功使用過 MTP 多 Token 預測模型來加速 DeepSeek V4 Flash 大模型的本地端執行效率，在 NVIDIA DGX Spark 上的表現還可以，而 MTP 這樣的技術，在 Ollama 中也採用了。
在執行過程中，系統不再採用單一固定的草稿長度，而是根據特定硬體配置、模型的量化格式以及文本當下的可預測性，進行即時的動態調整。Ollama 會在執行時追蹤草稿的接受率與每次驗證所花費的時間，自動選出能夠產生最高每秒 Token 輸出的最佳長度。當預測接受率降低時，系統會流暢地切換回標準的單一解碼模式，確保推測解碼技術不會在無法提供幫助時拖慢整體速度。此外，多項關鍵算子透過 MLX 的即時編譯功能融合成，讓顯示晶片的取樣工作更具效率。
本次速度的成長，主要是受惠於 Ollama 0.31 在執行階段的動態最佳化，系統能即時評估軟硬體狀態並動態調整驗證長度，使不適用的文本情境能無縫回退至傳統解碼，免除無謂的算力浪費。
CyberQ 實測：MacBook M5 Air 的地端 AI 效能改善
為了驗證這項官方技術報告的可信度，CyberQ 第一時間採用了配備 24GB 統一記憶體的 MacBook M5 Air 進行深度測試。雖然 Air 機型採用無風扇的散熱設計，但在最新的 Ollama 0.31 框架下執行 Gemma 4 12B 模型，展現出了不錯的在地端 AI 運作實力。
在我們特別設計的程式碼生成專案情境中，如果是在 MacBook Pro 上跑，原本標準解碼模式下的速度約為每秒 31.5 個 Token，而在開啟 MTP 多 Token 預測技術後，速度直接飆升至每秒 58.2 個 Token，效能提升幅度高達 84.8% ，印證了官方報告中所宣稱的效能提升。
如果是輕薄便攜的 Air 系列筆記型電腦，在處理複雜的代理工作流與長文本內容時，也能擁有流暢且實用的回應速度，徹底解決了過往邊緣端執行大型模型時回應遲滯的問題。
晶片溫度管理是無風扇機型的最大變數，建議要在電腦完全冷卻的狀態下進行測試，或者在兩次測試之間讓系統閒置三到五分鐘，確保核心溫度回到基準線，避免熱調控機制干擾輸出速率。統一記憶體的分配也會直接影響推理效能。在測試前我們是完全關閉瀏覽器、開發工具與其他背景耗能軟體，確保 24GB 的記憶體空間能完整分配給 Ollama 的核心引擎，防止系統觸發虛擬記憶體交換機制而拉低速度。
接著，在終端機執行 ollama pull gemma4:12b-mlx 指令更新模型，確保取得內建 MTP 架構的最新檔案。然後再開啟詳細統計資料功能，在終端機執行 ollama run gemma4:12b-mlx 進入提示符號後，輸入 /set verbose 再按下 Enter。此後模型的每一次回覆末尾，都會自動顯示精確的每秒生成 Token 數量（eval rate）。
Ollama 0.31 的 MTP 加速機制在 -mlx 版本中是預設啟動的。為了取得未開啟 MTP的 Plain 傳統解碼對照組資料，最客觀的工程對比方法是引入標準的 GGUF 量化版本進行交叉測試，所以我們就再跑一次，透過指令下載未經過 MLX 特殊 MTP 最佳化的標準版本：ollama pull gemma4:12b，再使用完全相同的環境控制步驟，分別對標準版與 MLX 版投入我們設計好的兩組測試提詞。記錄兩者在 verbose 模式下輸出的 eval rate（tokens/s）。
以下為 CyberQ 實驗室在 MacBook M5 Air 24GB 設備上針對 Gemma 4 12B 模型的真實測試資料對比與測試結果圖：
| 測試基準情境 | 標準解碼速度 (Plain) | MTP 加速速度 (Ollama 0.31) | 效能實際提升幅度 |
| 一般對話與文本續寫 (Text Generation) | 12.33 tokens/s | 22.52 tokens/s | +82.6% |
| 程式碼生成專案 (Coding Agent) | 9.73 tokens/s | 18.92 tokens/s | +94.5% |
在相對增幅方面，多 Token 預測技術在程式碼生成情境下寫下了高達 94.5% 的成長率，甚至超越了文本續寫的表現。這強力證實了 Ollama 官方本次提出的技術理論，程式碼高度規律的語法結構與特徵，確實能大幅提升內建草稿模型的預測命中率，讓主模型省去大量重複驗證的時間。
然而在絕對速度方面，這台筆電呢，程式碼生成的每秒 18.92 個 Token 確實低於預期。這種成長率極高、絕對速度卻卡住的現象，核心問題在於邊緣端硬體的物理天花板。MacBook Air 所搭載的晶片在記憶體頻寬上，與官方測試所使用的 Max 等級頂級晶片有著不可逾越的硬體差距。由於大型語言模型在解碼生成階段屬於極度依賴記憶體頻寬（Memory Bandwidth Bound）的任務，當 Gemma 4 12B 模型龐大的權重在頻寬較窄的 Air 統一記憶體中循環讀取時，硬體極限就直接鎖死了絕對速度的上限。
Ollama 0.31 的全新架構確實發揮了如同魔法般的底層最佳化效益，成功將原本在 Air 上執行起來極為吃力、每秒不到 10 個 Token 且近乎不可用的 12B 程式碼生成任務，直接翻倍催化到每秒接近 20 個 Token 的流暢實用門檻。軟體層面的推測解碼完全兌現了它的技術承諾，只是它依然得在無風扇輕薄筆電的硬體物理限制內就會比較慢了，如果你是需要更好效能的開發者，沒有地端 AI 伺服器的情況下，購買記憶體夠大又快的 MacBook Pro 絕對是最佳選擇。
展望 Mac 平台的地端生成
CyberQ 認為，從本次 Ollama 0.31 的更新可以看出，AI 軟體底層框架與硬體原生驅動的深度融合，正在加速將先進技術落地到使用者的日常設備中。
大廠 Google 開源的 Gemma 4 模型家族憑藉著優異的推理與堪用的程式開發能力，搭配上 Apple MLX 框架對統一記憶體架構的處理，讓在地端執行 AI 代理不再是高階工作站的專利。這項更新為需要高隱私度、零 API 成本以及離線執行的企業與開發者，提供了具競爭力的便宜最佳化方案。
詳細資料可以再參考這份 Ollama 官方效能指標說明：Ollama’s highest performance on Apple Silicon yet with MLX
