實測 Inkling 2 Mini 5B 模型追平 27B?RTX 5060 Ti 解碼快 6 倍,思考卻停不下來

in
閱讀時間: 9 分鐘

Mira Murati 領軍的 Thinking Machines Lab 在 2026 年 11 月 20 日開源 Inkling 2 Mini。這是一款總參數 26.4B、每個 token 只用約 3B 唯一權重的迴圈式 MoE 模型。它在 Artificial Analysis 智慧指數拿到 20.1,和 Qwen3.8-27B 打平。跑完一題指數任務的成本是對方的六分之一,時間是四分之一。

授權是 Apache 2.0,支援文字與影像輸入,上下文 1M token。發布當天 vLLM、SGLang、Ollama、Unsloth 都已支援,Mac 也能透過 MLX 執行。CyberQ 本次測試在一台 RTX 5060 Ti 16GB、128GB 記憶體的 Windows 桌機上,用 20 筆公司內部威脅日誌比較兩者的 Q4 版本,結果放在後段的實測。

架構:同一組層重複跑三次

Mini 存了 24 層,但中間 12 層每個 token 會跑三次。不增加權重就能多算一倍以上,等於把部分「思考」搬進模型內部。

各家對參數量的寫法不同,實際是同一組數字,總參數 26.4B,每個 token 用到的唯一權重約 3.1 至 3.4B,把迴圈三輪都算進去的啟用量是 5.4B。後者是「5B 對上 27B」這個說法的來源。迴圈層每輪各自存 KV cache,記憶體用量會比一般 26B MoE 稍高。

官方另釋出研究版 TML-d24-varloop-research,可把迴圈次數設成 1、2 或 3。從 1 輪到 3 輪,不靠思考鏈能完成的任務時間尺度從 16 秒拉長到 37 秒。

與 Qwen3.8-27B 正面對決:寫程式與搜尋領先,知識與多約束落後

Mini 在程式代理、網路搜尋與長文件上領先,Qwen3.8-27B 在工作自動化、知識準確度與多模態理解上較強。下表數字來自 Thinking Machines 發布資料(經 Unsloth 轉錄),屬廠商自測。

基準Inkling 2 MiniQwen3.8-27B領先者
啟用 / 總參數(B)5 / 2627 / 27不適用
AA Intelligence Index v5.020.120.1平手
SWE-bench Verified79.2%77.8%Mini
DeepSWE v1.148.2%42.2%Mini
SWE-bench Pro(Hard,51 題)77.9%73.8%Mini
Terminal Bench v2.171.6%73.0%Qwen
BrowseComp(含壓縮)79.0%61.6%Mini
DeepSearchQA85.3%79.7%Mini
LongBench v266.9%52.3%Mini
ARC-AGI-249.3%42.4%Mini
AutomationBench-AA41.8%48.2%Qwen
GDPVal-AA v2.1(Elo)13191427Qwen
MMMU Pro74.9%76.3%Qwen
AA-Omniscience 非幻覺率63.4%71.4%Qwen

官方也承認 Mini 在多輪對話與多條件指令上不如 Qwen3.8-27B。各模型的評測設定不同,例如 BrowseComp 使用上下文壓縮,DeepSWE 使用 mini-swe-agent v2.4.6,細微差距不宜過度解讀。

成本與效率:便宜 6 倍、快 4 倍,但話比較多

同樣拿到 20 分,Mini 每題花 0.59 美元、9.0 分鐘,Qwen3.8-27B 要 3.53 美元、38.2 分鐘(Artificial Analysis)。價格以 Thinking Machines 自家 API 計算:每百萬 token 輸入 0.15 美元、輸出 0.50 美元。

每題指數任務Inkling 2 MiniQwen3.8-27B
成本(美元)0.593.53
耗時(分鐘)9.038.2
輸出 token(約)152,000110,000

Mini 的輸出 token 反而多了約 38%。但它每個 token 的啟用參數只有對手的五分之一,整體運算量約少 2.8 倍。對本機使用者來說,這代表解碼快,但要等它把較長的思考寫完。

筆電能不能跑:32GB 沒問題,24GB 只能跑 3-bit

官方原生權重以 NVFP4 為主、最後四層 MXFP8,全量約 20GB。Thinking Machines 建議 Mac 至少 32GB 統一記憶體(Kingy AI 引述發布文)。Unsloth 提供從 1-bit 到 8-bit 的 GGUF,官方推薦 UD-Q4_K_XL。

量化(Unsloth GGUF)檔案大小與 8-bit 首選 token 一致率
UD-Q8_K_XL22.87 GB基準
UD-Q4_K_XL(推薦)17.63 GB98.0%
UD-Q3_K_XL13.63 GB96.3%
UD-IQ3_XXS11.66 GB94.7%
UD-Q2_K_XL9.14 GB91.6%

社群在 Hacker News 回報的解碼速度如下:

  • M1 Pro 32GB,Q4:約 10 tok/s(同時開著瀏覽器)
  • M1 Max 64GB,4-bit:約 20 tok/s;UD-Q8_K_XL 約 18 tok/s
  • Ryzen 395(llama.cpp Vulkan):27 tok/s
  • RX 7900 XTX:約 28 tok/s,prefill 約 481 tok/s
  • RTX 5090:52 tok/s,prefill 700 tok/s

實測:RTX 5060 Ti 16GB 桌機跑 UD-Q4_K_XL

測試機是 Windows 11 桌機,配備 NVIDIA GeForce RTX 5060 Ti 16GB、Intel Core i5-12400F 與 128GB 系統記憶體。推論引擎用 Unsloth 的 llama.cpp 分支 b12588(上游還不支援迴圈層),兩個模型都用 Unsloth 的 UD-Q4_K_XL(Inkling 17.63 GB、Qwen3.8-27B 17.66 GB),上下文設 16K,temperature 0。

兩個檔案都比 16GB 顯示記憶體大,必須把一部分權重放到系統記憶體。Inkling 是 MoE,用 --n-cpu-moe 6 只把前 6 層的專家權重放到 CPU。這 6 層每個 token 只跑一次,第 6 到 17 層的迴圈核心留在 GPU,所以速度損失小。Qwen3.8-27B 是稠密模型,沒有專家可以挑,只能整層切:65 層中 48 層放 GPU,其餘 17 層由 CPU 計算。

速度:Inkling 解碼快 6 倍

項目Inkling 2 MiniQwen3.8-27B
權重放置全部層上 GPU,前 6 層專家放 CPU65 層中 48 層上 GPU
顯示記憶體峰值15.4 GB14.1 GB
512 token 解碼速度38.2 tok/s6.1 tok/s
評測期間 GPU 平均使用率56%22%
評測期間 GPU 平均功耗62 W40 W

解碼速度差了 6.3 倍。Qwen 每個 token 都要算完 27B 權重,其中約四分之一在 CPU 上,GPU 大半時間在等;Inkling 每個 token 只動到約 3B 唯一權重,放到 CPU 的又剛好是負擔最輕的層。對照社群回報 RTX 5090 的 52 tok/s,16GB 的中階卡能拿到七成多。

任務:20 筆內部威脅日誌判讀

題目是 20 筆合成的企業日誌片段(Zeek、AD、FortiGate、DLP 等格式,附人員職務備註)。其中 12 筆是威脅,資料外傳、越權目錄、橫向移動、憑證異常、規避控管、離職徵兆六類各 2 筆;另 8 筆是有授權或符合既有模式的正常活動。模型要輸出 JSON,判斷是否為威脅並歸類。思考關閉時上限 400 token 並啟用 JSON 格式限制,思考開啟時上限 4,000 token。

設定判定正確類別正確誤報/漏報平均每題秒數平均輸出 token未寫出答案
Inkling,思考關(none)13/2011/200/09.53327 題
Inkling,思考開(high)19/2016/200/031.11,1351 題
Qwen,思考關20/2017/200/05.3240 題
Qwen,思考開20/2017/200/0100.95970 題

Inkling 真的關不掉思考

設成 reasoning_effort=none 後,每題仍先寫約 1,000 字的思考,20 題中有 7 題在 400 token 內還沒想完就被截斷,沒有輸出答案,判定正確率因此掉到 13/20。有寫出答案的 13 題判定全對,失分來自答案沒寫出來,不是判斷錯誤。Qwen 關掉思考後每題只輸出約 24 token 的 JSON,5 秒就回來,20 題判定全對。

開啟思考後 Inkling 判定 19/20,唯一失分是一題 QA 人員自行提權存取財務稽核資料的樣本,想了 9,000 多字仍沒有結論,寫滿 4,000 token。Inkling 開思考平均輸出 1,135 token,約是 Qwen 的 1.9 倍,呼應前面 Artificial Analysis 說它話比較多。但因為解碼快 6 倍,Inkling 每題實際只要等 31 秒,Qwen 開思考則要 101 秒,分數和關思考時一樣。

兩個模型錯在同一類地方

把越權複製薪資到 USB、壓縮偽裝後上傳、離職前複製資料到個人雲端,歸成資料外傳(S1)。這幾題同時符合兩個類別,標準答案取的是主要意圖(越權、規避、離職),模型則傾向看到資料出去就選 S1。兩者都沒有誤報或漏報,8 筆正常活動全部判為正常。

這個測試只有 20 題,temperature 0 各跑一次,屬於小樣本的情境測試,不能代表官方基準。兩個模型的 tokenizer 不同,token 數只適合看量級。Qwen 的速度也受限於這台機器要把 17 層放在 CPU,24GB 以上的顯示卡可以全部上 GPU,差距會大幅縮小。

安裝上有一個坑:Unsloth 分支的 Windows cuda12-portable 套件沒有附 CUDA 執行期(cudart64_12、cublas64_12、cublasLt64_12)。在沒裝 CUDA Toolkit 的機器上,llama-server 會靜默改用 CPU,健康檢查照樣回 ok,只能從顯示記憶體沒增加看出異狀。執行 llama-server --list-devices 若顯示 (none),就要另外放入 CUDA 12 執行期 DLL(例如 NVIDIA 在 PyPI 發布的 nvidia-cuda-runtime-cu12 與 nvidia-cublas-cu12),之後才會出現 CUDA0。

先潑冷水:社群與官方自己提到的弱點

最常見的抱怨是想太久。預設推理強度是 high,有使用者回報寫 WordPress 外掛燒了 19,200 個思考 token 仍未完成。迴圈只增加運算、不增加儲存知識,所以小模型的事實幻覺問題仍在。

  • 關不掉思考:只能用 reasoning_effort 調整(none 到 max),模型卡說最低檔也不會完全關閉。本文實測設成 none 時,每題仍會先寫約 1,000 字思考。
  • 工具呼叫不穩:有人遇到宣告要呼叫工具後卻沒有發出。
  • 代理風險:模型卡警告它可能誤報結果,或未經確認就刪除與覆寫檔案,建議在沙箱內執行。
  • 基準來源:多數數字是廠商自測。第三方 Vals Index v2.2 給 46.46%,在 43 個模型中排第 38。
  • 生態未成熟:發布當下上游 llama.cpp 尚未合併迴圈支援,MLX-Serve 也還跑不起來。Unsloth 分支的 Windows portable 套件也沒有附 CUDA 執行期。

對地端部署的意義

CyberQ 實測 Inkling 2 Mini ,證明 5B 級啟用參數就能打平 27B 稠密模型,關鍵是重複使用中段層。對要在地端放模型的企業,它寫程式與檢索長文件的能力很有吸引力,且 Apache 2.0 沒有商用限制。但多條件指令與知識準確度較弱,重視這兩項的任務仍以 Qwen3.8-27B 較穩。

CyberQ 建議,在硬體門檻上,32GB 的 Mac 或 DGX Spark 可跑官方版,24GB 筆電只能跑 3-bit,結果不能代表官方分數。

本次實測顯示,16GB 中階顯示卡加上大容量系統記憶體就能用 Q4 跑出近 40 tok/s,是同一台機器跑 Qwen3.8-27B 的 6 倍。代價是思考關不掉、輸出長,要求簡短 JSON 的批次判讀任務必須預留足夠的 token 上限。如果任務本身不需要推理,關掉思考的 Qwen3.8-27B 在這次測試裡反而最快也最準。

參考資料

Welcome Inkling 2 Mini — Hugging Face Blog

Inkling 2 Mini – Run Locally Guide — Unsloth

Thinking Machines has released Inkling 2 Mini — Artificial Analysis

Thinking Machines releases Inkling 2 Mini — TestingCatalog

Inkling 2 Mini puts a 26.4B coding model on a 32GB Mac — Kingy AI

Inkling 2 Mini — Hacker News 討論串

unslothai/llama.cpp b12588-mix-c0c3de8 發行版(實測所用版本)