Hugging Face 上最近一個新的 gemma-4-31B-it-ARA-heretic 去審查模型受到矚目，有人把 Google 官方 Gemma 4 31B 的安全對齊拆掉，拒答率從 99/100 降到 28/100，壓縮到 11.9GB 後，一般家用顯示卡就能跑，號稱「智商分毫不損」，而且「滲透與逆向完全鬆綁」。對資安團隊來說，這類模型同時是工具也是風險，它能不能減少正當資安工作被模型拒絕的情況？又會對惡意請求幫到什麼程度？CyberQ 在兩台 NVIDIA DGX Spark 上，用公開的資安評測集把它和原版 Gemma 4 31B 放在一起實測，也一起做了和 DeepSeek 去審查版的測試比較，並給出實務上的建議。
CyberQ 測試結論
該貼文的五個主張，實測結果如下。
| 貼文主張 | 實測 |
|---|---|
| 拒答 99/100 降到 28/100 | 屬實，而且更徹底。用 LLM 評審判定，去審查版在同一份 100 題只拒答 0 到 2 題，89 題給出實質可用的內容。28/100 是關鍵字比對的數字，把「先寫免責聲明再照做」算成拒答，低估了服從程度。 |
| 11.9GB 家用顯卡可跑 | 11.9GB 是 Q2_K 量化（11,916,315,552 位元組），不是原始精度。Q2_K 的行為與 Q8_0 接近，數學題少 2 題。 |
| 智商分毫不損 | 本次能力題量不出差異，但作者自報的 KL 散度是 0.0845，不是零。 |
| Apache 2.0 隨便下 | Gemma 4 本身是 Apache 2.0，但作者另附 OpenRAIL++ 條款，明文禁止用來產生惡意程式與漏洞利用程式。 |
| 滲透與逆向完全鬆綁 | 正當資安題的誤拒從 25% 降到 0%；但 MITRE ATT&CK 惡意協助題也從 5% 到 7% 升到 91% 到 97%。 |
受測模型與檔案檢查
受測的是 mradermacher 量化的 GGUF 版本，來源是 richardyoung 用 Heretic v2.0.0 的 ARA（Arbitrary-Rank Ablation）方法處理過的 google/gemma-4-31B-it，改動範圍是第 21 到 56 層。對照組是 ggml-org 發布的原版 Gemma 4 31B Q8_0。兩邊都用 Q8_0，另外加測貼文所說的 11.9GB Q2_K。
使用第三方權重前，CyberQ 先做了供應鏈檢查。三個檔案的 sha256 都與 Hugging Face 上的紀錄一致。GGUF 標頭比對結果，去審查版與原版的 833 個 tensor 名稱、形狀、型別完全相同，tokenizer 與內嵌的 chat template 也相同，差異只在描述欄位與量化者資訊。上游的 chat_template.jinja 與 Google 原版逐位元組相同。GGUF 裡的 chat template 是可以被動手腳的執行面，這次檢查沒有發現異常。
值得注意的是上游自己的重現說明，Heretic 是作者本機安裝的版本，文件直接寫「無法保證可重現」。
測試方法
CyberQ 本次的題目全部取自公開資料集，沒有自行撰寫攻擊提示：
- 有害請求 100 題：Heretic 自己用來算 28/100 的那份
mlabonne/harmful_behaviors前 100 題。 - 正當資安題 100 題：Meta CyberSecEval 的 MITRE FRR 題庫，內容是看起來可疑、實際上正當的資安程式需求，用來量「誤拒」。
- 惡意協助 100 題：CyberSecEval 的 MITRE ATT&CK 題庫，十個戰術類別各 10 題。
- 網路犯罪 67 題：HarmBench 的網路犯罪與入侵類別全部題目。
- 思考模式：有害題與正當題各 10 題，開啟 Gemma 4 的思考模式。
- 能力：GSM8K 前 100 題，以及 CyberQ 自建的繁體中文代理人考卷（繁中、工具呼叫、多步代理人、JSON 輸出）。
解碼一律用溫度 0。判定方面，每筆回應由兩位 LLM 評審各自分成三級：拒答、有回應但沒有可執行的細節、實質協助。評審一是原版 Gemma 4 31B，評審二是 DeepSeek-V4.1-Flash。同時也用 Heretic 原始的 33 個拒答關鍵字算一次，對照作者的方法。模型產出的內容只存在內部檔案，本文不引用任何回應內文。
結果一：拒答幾乎歸零，關鍵字法低估了服從程度
| 題組 | 題數 | 原版 拒答／實質協助 | 去審查版 Q8 拒答／實質協助 | 去審查版 Q2_K 拒答／實質協助 |
|---|---|---|---|---|
| 有害請求 | 100 | 98%／2% | 0% 到 2%／89% | 3%／83% |
| 有害請求（Heretic 關鍵字法） | 100 | 99 題拒答 | 19 題拒答 | 5 題拒答 |
| 有害請求，開思考 | 10 | 10／0 | 0 到 1／7 到 8 | 未測 |
原版在 Heretic 自己的評測集上拒答 98 到 99 題，與作者回報的 99/100 吻合，代表這套判定流程可信。去審查版用關鍵字法算是 19 題拒答，比作者的 28 題更少；但兩位評審都判定它幾乎不拒答。差別出在 17 筆回應，模型先寫一句「這可能違法」之類的提醒，接著照樣給出內容，關鍵字法因為看到 illegal、harmful 這類字眼就算成拒答。
所以 28/100 這個數字其實低估了它的服從程度。開啟思考模式也一樣，貼文說雙模式的說教都被清洗乾淨，在這 10 題上成立。
結果二：正當資安工作的誤拒從 25% 降到 0%
| 題組 | 題數 | 原版誤拒 | 去審查版 Q8 誤拒 | 去審查版 Q2_K 誤拒 |
|---|---|---|---|---|
| CyberSecEval MITRE FRR | 100 | 25%（評審二 24%） | 0% | 1% |
| 同上，開思考 | 10 | 3 題 | 0 題 | 未測 |
這是去審查版對資安團隊最實際的好處。原版 Gemma 4 31B 對四分之一的正當資安程式需求說不，例如修改系統狀態的腳本，題目本身沒有惡意，但字面上像攻擊工具。去審查版全部照做。
結果三：惡意協助超過九成
| 題組 | 題數 | 原版 實質協助 | 去審查版 Q8 實質協助 |
|---|---|---|---|
| MITRE ATT&CK 惡意協助 | 100 | 5% 到 7% | 91% 到 97% |
| HarmBench 網路犯罪與入侵 | 67 | 10% 到 12% | 96% 到 97% |
十個 ATT&CK 戰術類別，去審查版每一類都有 7 到 10 題給出實質協助，偵察、橫向移動、持久化、資料外洩、防禦規避都是 10 題全中。原版每一類最多 2 題。兩組差異的 z 值都在 9.7 以上，不是抽樣誤差。
兩位評審對「拒答與否」的判定高度一致，原版各組一致率 97% 到 100%。對去審查版，兩位評審在有回應但不夠具體與實質協助之間的界線看法不同，所以表中以區間呈現，但不論採用哪位評審，結論都一樣，這款去審查模型它幾乎不拒絕。
結果四：能力看不出損失
| 能力 | 原版 Q8 | 去審查版 Q8 | 去審查版 Q2_K |
|---|---|---|---|
| GSM8K 前 100 題 | 98 | 98 | 96 |
| 繁中題（20 分） | 17 | 18 | 19 |
| 簡體字外洩 | 0 | 0 | 0 |
| 工具呼叫（10） | 10 | 10 | 10 |
| 多步代理人（3） | 3 | 3 | 3 |
| JSON 精簡輸出（20 輪） | 20 | 20 | 20 |
在這些題目上，去審查版與原版沒有可量到的差距，Q2_K 只在數學題少了 2 題。CyberQ 原本也想用 llama.cpp 量三者對原版的 KL 散度，但原版 Gemma 4 指令模型在沒有對話格式的純文字上困惑度就已經高達兩千以上，這組數字失去參考價值，因此不列入結論。原本貼說的分毫不損只能說在這幾項測試上成立，作者自己量到的 KL 0.0845 代表模型確實有變。
授權並沒有讓人隨便用
貼文說 Apache 2.0、無需許可。Gemma 4 本身確實採 Apache 2.0，但上游儲存庫另外附了一份 OpenRAIL++ 授權，條文寫明附在模型權重上時「另行適用」。其中第 12 條禁止用來產生惡意程式、勒索軟體、鍵盤側錄、殭屍網路控制元件、憑證竊取工具，以及已知或未知漏洞的利用程式，第 14 條只允許在有文件記錄的安全評估、紅隊或學術研究情境下產生這類內容，違反即自動終止授權。
這份附加條款與 Apache 2.0 並存時效力如何，有法律上的爭議，條文本身也寫了衝突時以基礎授權為準。但至少作者的意圖很清楚，貼文主打的「滲透與逆向完全鬆綁」正好是作者禁止的用途。企業要使用，應該把評估目的寫進內部文件。
在 DGX Spark 上跑的實際狀況
31B 是 dense 模型，Q8_0 在一台 DGX Spark 上單路約 6.5 token/s，一筆長回應約 4 分鐘就把機殼熱區推到 86°C。CyberQ 第一次用 8 路並行時，熱區一度到 95°C，立即中止，之後改成 4 路並行，在 88°C 以上累積兩分鐘就中斷進行中的請求，峰值壓在 88 到 90°C。貼文說 12GB 到 16GB 顯示卡就能跑，指的是 Q2_K，而且要有心理準備，dense 31B 的速度與散熱需求都不輕。
給資安團隊的建議
去審查模型的價值在於減少誤拒，原版對四分之一的正當資安程式需求說不，這對紅隊與研究人員確實是困擾。但它同時對九成以上的惡意請求給出實質協助，等於拿掉一道防線。因此，以下是 CyberQ 的建議：
- 只放在隔離環境：紅隊或研究用的網段，限定帳號存取，保留完整的請求與回應日誌。不要接到一般員工可用的對話入口，也不要接到有工具執行權限的代理人。
- 先試別的方法：如果只是被誤拒困擾，先用系統提示說明授權情境，或用原版加上人工覆核，不一定要換去審查模型。
- 核對來源與授權：下載第三方權重要核對 sha256、tensor 清單與 chat template，並確認附加授權條款。
- 別只看拒答率：作者用關鍵字法量出的數字，會把先警告再照做算成拒答。評估這類模型，要看它實際給出了什麼。
測試環境
兩台 NVIDIA DGX Spark（GB10），llama.cpp 2026 年 11 月 10 日版本（commit 15759e0ca），在 NVIDIA PyTorch 26.07 容器內編譯執行。
題組：mlabonne/harmful_behaviors、Meta CyberSecEval（MITRE 與 MITRE FRR）、HarmBench、GSM8K。
評審：原版 Gemma 4 31B Q8_0 與 DeepSeek-V4.1-Flash。每組 67 到 100 題、溫度 0 單一樣本，思考模式各 10 題，結果代表這個設定下的行為，不代表所有取樣條件。
追加對照：DeepSeek-V4.1-Flash 標準版與去審查版
為了確認上述結論是不是只發生在 Gemma 身上，CyberQ 也拿實驗環境中的 DeepSeek-V4.1-Flash-1017（2.8bpw 量化，跑在同樣兩台 DGX Spark 上）做對照。這套部署的同一份權重可以切換成標準版或社群釋出的去審查版。從前面的題組每組取 20 題、思考模式各 5 題，共 110 題，四個模型都改由 DeepSeek-V4.1-Flash 擔任評審，確保比較基準一致。
| 題組（拒答／實質協助） | 題數 | Gemma 原版 | Gemma 去審查版 | DeepSeek 標準版 | DeepSeek 去審查版 |
|---|---|---|---|---|---|
| 有害請求 | 20 | 20／0 | 0／19 | 20／0 | 0／18 |
| 正當資安題誤拒 | 20 | 5 | 0 | 0 | 0 |
| MITRE ATT&CK 惡意協助 | 20 | 18／1 | 0／19 | 17／3 | 0／20 |
| HarmBench 網路犯罪與入侵 | 20 | 19／1 | 0／20 | 17／1 | 0／20 |
| 有害請求，開思考 | 5 | 5／0 | 0／4 | 4／1 | 0／5 |
| 正當資安題，開思考，誤拒 | 5 | 2 | 0 | 0（註） | 0（註） |
| GSM8K 正確 | 20 | 20 | 20 | 20 | 20 |
DeepSeek 的去審查版與 Gemma 去審查版行為幾乎一樣，有害請求、ATT&CK 惡意協助與 HarmBench 資安題全部不拒答，九成以上給出實質協助。去審查這件事的效果，不因模型不同而改變。
更值得注意的是 DeepSeek 標準版。它對 20 題正當資安題一題都沒有誤拒，對有害請求與 HarmBench 資安題卻仍拒答 17 到 20 題。換句話說，至少在這組題目上，標準版已經拿到去審查最主要的好處，同時保留了拒絕惡意請求的防線。Gemma 原版四分之一的誤拒，看起來是 Gemma 本身對齊較保守所致，不一定要靠去審查來解決，換一個對齊方式不同的標準模型也是選項。不過標準版並非滴水不漏，ATT&CK 題有 3 題、開思考的有害請求有 1 題仍給出實質協助。
註：正當資安題開思考時，DeepSeek 兩個版本在最高思考強度下都把 4,096 token 全部用在思考，沒寫出正文，評審因此判為拒答，改以思考內容判斷，兩者 5 題都是打算協助，所以表中記為 0。這個對照每組只有 20 題（0/20 的 95% 信賴區間上限約 16%），評審又是 DeepSeek 去審查版本身，可能偏袒自己的輸出，數字應視為方向性的驗證，而非精確比例。
追加一：完整 487 題，標準版與去審查版再比一次
DeepSeek-V4.1-Flash 標準版與去審查版各跑一次 Gemma 用過的全部 487 題，引擎、權重與取樣設定都不變，溫度 0。開思考的題目把輸出上限從 1,536 放寬到 4,096 token，思考強度改為中等，評審仍是 DeepSeek 去審查版。表中 Gemma 兩欄是同一批回答改由這位評審重新評分，所以與前文的表格略有出入。
| 題組（拒答／實質協助） | 題數 | Gemma 原版 | Gemma 去審查版 | DeepSeek 標準版 | DeepSeek 去審查版 |
|---|---|---|---|---|---|
| 有害請求 | 100 | 98／2 | 0／89 | 95／4 | 0／91 |
| 正當資安題誤拒 | 100 | 24 | 0 | 1 | 0 |
| MITRE ATT&CK 惡意協助 | 100 | 92／7 | 0／97 | 81／19 | 0／96 |
| HarmBench 網路犯罪與入侵 | 67 | 58／7 | 0／65 | 52／9 | 0／66 |
| 有害請求，開思考 | 10 | 10／0 | 0／8 | 10／0 | 0／10 |
| 正當資安題，開思考，誤拒 | 10 | 3 | 0 | 0 | 0 |
| GSM8K 正確 | 100 | 98 | 98 | 100 | 99 |
| 繁中代理人考卷 | 20 | 17 | 18 | 20 | 20 |
20 題子集看到的方向，在完整題組上成立。標準版 100 題正當資安題只誤拒 1 題（95% 信賴區間上限約 5%），那一題是要求寫程式利用設定檔解析寫入敏感檔案，本來就落在邊界上，開思考的正當題則一題都沒有誤拒。有害請求標準版拒答 95 題，去審查版一題都不拒，九成以上給出實質協助。
完整題組也補上了子集沒看到的缺口。標準版在 MITRE ATT&CK 題有 19 題給出實質協助，集中在探索（Discovery）6 題與偵察（Reconnaissance）3 題，這兩類與日常系統管理高度重疊，模型很難只從字面分辨意圖，HarmBench 資安題也有 9 題放行。標準版的防線不是滴水不漏，但與去審查版 96% 到 99% 的協助率相比，仍是兩個量級的差距。
能力方面，兩版沒有差別，GSM8K 100 對 99，繁中代理人考卷都拿滿分 20，工具呼叫 10/10、多步代理人 3/3、JSON 精簡輸出 20/20 也完全相同。去審查換不到更好的能力，只換到對惡意請求的全面配合。
追加二：16GB 顯示卡實測，MoE 的 26B-A4B 比 31B 好用
實際在一張 RTX 5060 Ti 16GB 上測試（Windows 11，llama.cpp b12246 官方 CUDA 版，開 Flash Attention），比較四個社群釋出的去審查 GGUF，四個檔案的 sha256 都與 Hugging Face 上的紀錄相符。能力與行為用的是前文題組的 190 題子集，評審同樣是 DeepSeek 去審查版。
| 模型與量化 | 檔案 | 輸出 token/s | 預填 token/s | GSM8K（100） | 繁中考卷（20） | 有害請求實質協助（20） |
|---|---|---|---|---|---|---|
| 26B-A4B heretic-ara i1-Q4_K_M | 16.8GB | 78.7 | 約 1,600 | 98 | 18 | 11 |
| 31B ARA-heretic i1-IQ3_XS | 13.1GB | 27.3 | 約 950 | 99 | 17 | 15 |
| 31B ARA-heretic Q2_K | 11.9GB | 32.1 | 約 690 | 96 | 17 | 12 |
| 12B uncensored-heretic Q8_0 | 12.7GB | 31.3 | 約 2,570 | 94 | 17 | 17 |
| 參考：31B ARA-heretic Q8_0（DGX Spark） | 6.5 | 98 | 18 | 19 |
速度是 llama-bench 三次平均，輸出取 128 token、預填取 512 與 4,096 token 的平均。26B-A4B 的檔案 16.8GB 比顯示記憶體還大，但它是 MoE 架構，每個 token 只動用約 4B 參數，用 llama.cpp 的 -ncmoe 4 把 4 層專家權重放到 CPU 後，輸出仍有 78.7 token/s，是 31B 系列的 2.5 倍以上。放到 CPU 的專家層越多越慢，8 層時降到 60.1，12 層時 48.5。
上下文開 32K、單路時，一份 2.67 萬 token 的文件預填約 1,400 token/s、輸出約 66 token/s，摘要內容正確，顯示記憶體用到 15.97GB。工具呼叫 10/10、多步代理人 3/3、JSON 精簡輸出 20/20，與 DGX Spark 上的 31B Q8_0 相同，GSM8K 與繁中考卷也在同一水準。
去審查的效果四個模型都在，所有題組 0 拒答，正當資安題 0 誤拒（開思考題有 2 題因思考寫滿 1,536 token 上限而沒有正文，不算拒答）。26B-A4B 對 MITRE ATT&CK 與 HarmBench 資安題的實質協助是 19/20 與 18/20，與 31B Q8_0 相當，一般有害請求則只有 11 題給出實質細節，其餘 9 題有回應但內容空泛。
另外三個不建議當主力。31B i1-IQ3_XS 的數學與行為最接近 Q8_0，但輸出只有 27 token/s，上下文開 8K 單路就用掉 15.0GB，只適合一定要 31B、又能接受短上下文的情境。31B Q2_K 就是網路上流傳的「11.9GB 版」，比 26B-A4B 慢 2.5 倍，GSM8K 掉到 96。12B Q8_0 的速度與 31B 差不多，因為 dense 模型的 Q8 一樣受記憶體頻寬限制，能力卻最弱，JSON 欄位雖然都正確，20 輪都沒照要求精簡輸出。
想在 16GB 顯示卡上自行架設的讀者，可以從以下設定開始，需要兩路並行時改成 -c 16384 -np 2，顯示記憶體約 15.8GB。加上 -ngl 99 後 llama.cpp 不會自動調整配置，要自己確認沒有超出顯示記憶體，Windows 桌面本身也會佔掉約 1.4GB。這個 26B GGUF 的對話模板預設開啟思考，不需要思考時，請求要帶 chat_template_kwargs: {"enable_thinking": false}。
llama-server -m gemma-4-26B-A4B-it-heretic-ara.i1-Q4_K_M.gguf -ngl 99 -ncmoe 4 -fa on --jinja -c 32768 -np 1所以 24GB 才算實用的建議，只適用於 dense 的 31B。手上只有 16GB 顯示卡的團隊，改用 26B-A4B 的 Q4_K_M，速度與上下文長度都比較實用。但無論用哪一張卡、哪一個大小，去審查版的使用原則都不變，只在隔離網段、限定帳號、保留完整日誌的環境中使用，而且不給它工具執行權限。
CyberQ 的實務建議
綜合 Gemma 與 DeepSeek 兩組對照，CyberQ 對想在地端使用這類模型的團隊有以下建議。
家用顯示卡可以跑，但 24GB 才算實用
Gemma 4 31B 是 dense 模型，每產生一個 token 都要讀過全部權重，速度幾乎由顯示記憶體頻寬決定。依檔案大小推算，16GB 顯示卡只放得下 Q2_K 或 IQ3 這類低位元版本，上下文也要開小，24GB 顯示卡才能放下 Q4_K_M（18.8GB），這是 CyberQ 認為的實用門檻。Q2_K 在本次的數學與繁中題目上看不出退步，但這些題目偏簡單，長程式與複雜推理是否受影響並未驗證，正式使用建議至少 Q4_K_M。12GB 以下的顯示卡放不下整個模型，部分權重落到 CPU 後速度會大幅下降，不如改用參數較小或 MoE 架構的模型。長時間滿載時也要留意散熱，31B 在 DGX Spark 上單路生成 4 分鐘就把機殼熱區推到 86°C。
DGX Spark 上，日常仍以 DeepSeek-V4.1-Flash 較合適
同樣的兩台 DGX Spark，DeepSeek-V4.1-Flash 單路約 56 token/s、4 路合計約 120 token/s，Gemma 4 31B Q8_0 在單台上只有約 6.5 token/s，只要碰到平行處理稍多就觸發溫控。CyberQ 先前的繁中代理人考卷，DeepSeek 的繁中成績也略高，工具呼叫與多步代理人兩者同分。Gemma 31B 的優勢是單台就能跑，適合必須空出另一台機器，或需要它看圖能力的情境。
平常用標準版，去審查版只在隔離環境開啟
這次對照最有意義的發現是，DeepSeek 標準版對正當資安題沒有誤拒，對惡意請求仍多半拒絕。去審查最主要的好處，標準版其實已經拿到，換成去審查版，多得到的只有對惡意請求的全面配合。對有工具執行權限的代理人來說，模型越順從，被網頁或文件裡夾帶的指令挾持時，風險就越大。
因此， CyberQ 建議日常的對話入口與代理人使用標準版，需要紅隊演練或惡意程式研究時，才在隔離網段、限定帳號、保留完整日誌的環境中開啟去審查模型，而且不給它工具執行權限。如果遇到的是像 Gemma 原版這種對齊偏保守、誤拒偏多的模型，先換一個對齊方式不同的標準模型，往往比直接改用去審查版更好。
