首發實測 QNAP FileTiers 1.0 :冷資料自動上雲,平衡儲存成本與效能

in ,
閱讀時間: 10 分鐘
QNAP FileTiers 1.0 實測封面

QNAP 日前於 App Center 的 Beta Lab 推出新 App「QNAP FileTiers」1.0.0.1713(套件內部名稱顯示為 AutoTier)。官方說法是把 NAS 上不常存取的「冷資料」自動搬到雲端,本機只留下虛擬連結,需要時再召回,用來平衡儲存成本與效能。

CyberQ 在一台 TVS-h877AX(QuTS hero h6.1.0.3656)上完整走了一輪,安裝、建立分層原則、分層、讀取、改寫、刪除、重開機、刪除原則與解除安裝,雲端端點用自架的 S3 相容服務,方便觀察每一個物件與每一筆流量。本次 CyberQ 實測心得是這樣:

  • 分層與召回本身運作正確,檔案內容前後 SHA-256 完全一致,搬上雲的是原檔,沒有加密也沒有壓縮。
  • 預設規則只看「最後存取時間」,但 Qsirch 這類會讀檔建索引的服務會一直把存取時間更新,檔案永遠不會變冷。實務上要改用修改時間等進階規則。
  • 讀過一次的分層檔,會把完整內容存進共用資料夾裡的隱藏快取目錄,重開機也不會清,原檔看起來仍是 0 區塊。省下來的空間會在使用者沒察覺的情況下回來。
  • 介面目前只能選 myQNAPcloud Storage 或 QuObjects 兩種目的地,S3 相容服務要用 QuObjects 這個選項接。
  • 刪除原則會先把檔案全部召回,但雲端會留下三個中繼資料檔,解除安裝後也有幾項殘留。

測試環境

項目內容
NASQNAP TVS-h877AX,QuTS hero h6.1.0.3656(build 20261023)
FileTiers1.0.0.1713(build 2026/08/27),Beta Lab
雲端目的地區網內一台主機上的 S3 相容物件儲存(以 QuObjects 類型連線),也可以設定去雲端 S3、GCS、B2 等服務
搭配測試Qsirch 8.1.0.2(同機已安裝)

測試資料放在 Public 共用資料夾下新建的子資料夾,包含 1 MB、50 MB、300 MB 的隨機資料檔、幾個百位元組的文字檔與 eml,以及兩個 400 KB 的文字檔。存取與修改時間都先改到 2024 年,模擬兩年沒人碰的檔案。

安裝與架構

FileTiers 相依 Container Station,40 秒左右裝好。裝完之後 NAS 上多了這些東西:

  • 一個 FUSE 檔案系統,掛在 /share/external/.autotier
  • 一個核心模組 filetiersfs,套件裡附了 QTS 與 QuTS hero 各三種核心版本
  • 一個跑在系統用 Docker 裡的 MongoDB 4.4 容器,存放原則、檔案屬性與歷程
  • 後端服務(Go 撰寫),網頁介面透過 Apache 反向代理到它的 UNIX socket

說明頁寫的系統需求是 QuTS hero h5.2.9 與 h6.0.0.3380 以上。

安裝後,分析服務會立即掃描所有共用資料夾,在「總覽」用存取時間把資料分成熱、暖、冷,並畫出各時間區間的檔案大小與數量。

FileTiers 總覽頁,依存取時間顯示各區間的檔案大小與數量
總覽頁:這台 NAS 幾乎所有資料都落在「0 到 3 個月內存取過」的區間。

建立分層原則

建立原則分四步:來源、規則與目的地、排程、摘要。

建立分層原則精靈的來源步驟,部分共用資料夾呈灰色不可選
來源步驟:Container(App 用資料夾)與 HDP_Business(WORM 資料夾)不能選,右側即時顯示所選資料夾的冷熱分布。

依前端程式碼,不能當來源的資料夾類型包括:App 共用資料夾、加密共用資料夾、WORM 資料夾、HybridMount 資料夾、QDFF 資料夾、RTRR 多版本資料夾,以及已被其他原則使用的資料夾。共用資料夾底下的子資料夾可以單獨選。

選好來源按下一步時,會跳出一段提示:

選取來源後跳出的效能提示
提示說明:選取共用資料夾的子資料夾,在大量寫入時可能稍微影響其他子資料夾的效能。

這段提示對應到一個實作細節:即使原則只指定 Public 底下的一個子資料夾,FileTiers 仍會把 filetiersfs 掛載在整個 Public 共用資料夾上(後端記錄為 Mounted FileTiersFS on /share/ZFS2_DATA/Public)。換句話說,同一個共用資料夾裡所有檔案的讀寫,都會多經過一層。

預設規則只看「最後存取時間」

規則與目的地步驟,預設規則為上次存取超過 1 年
預設規則用滑桿選「上次存取」的區間,預設是超過 1 年。

預設規則只有「上次存取」一個條件。另外可以加進階規則,條件包括存取時間、修改時間、檔名(萬用字元)、檔案類型與檔案大小。排程預設是每月的今天 23:00,也可以改成依儲存空間使用率觸發。

目的地只有兩種

新增帳戶選單只有 myQNAPcloud Storage 與 QuObjects
新增儲存空間帳戶時,只有 myQNAPcloud Storage 與 QuObjects 兩個選項。

前端程式裡其實還看得到 Amazon S3(含 GovCloud、中國市場)、Glacier 與 myQNAPcloud Object 的處理邏輯,後端用的搬檔元件也支援 B2、GCS、Wasabi、Azure 等,但 1.0.0.1713 的介面只開放這兩種。QuObjects 表單可以自填伺服器位址,並有「驗證 SSL 憑證」選項,所以任何 S3 相容服務都能用這個選項接,本次就是這樣接上自架服務。表單也接受明文 http:// 端點,雖然方便測試,正式環境請務必用 HTTPS,以策安全。

分層之後,檔案變成什麼

手動執行原則後,3 秒內把 1 MB、50 MB、300 MB 三個檔(共 368,050,176 位元組)搬上雲。百位元組等級的文字檔與 eml 沒有被搬,總覽頁的統計也以 256 KB 作為分界,小檔不在分層範圍內。

本機這一端:

  • 檔案大小不變,但占用區塊變成 0。底層實際上是一個 59 位元組的符號連結,指向 FUSE 掛載點底下的編碼名稱。
  • File Station 的檔案清單 API 會多一個 is_autotier: 1 欄位。
  • 用 SMB 存取時,檔案帶有 Windows 的「離線」屬性(0x1000)。Windows 檔案總管會因此顯示離線圖示,部分備份或同步工具也會依這個屬性略過檔案,使用前值得確認。

雲端這一端,物件路徑就是 NAS 上的原始路徑(<根目錄>/share/Public/...),內容是原檔原樣,下載回來算 SHA-256 與原檔一致,沒有加密、沒有壓縮。另外還有:

  • QNAPFileTiersPolicy.json:明文,內含 NAS 主機名稱、原則內容、儲存帳戶的伺服器位址與 Access Key ID(不含金鑰)。
  • db_<時間>/ 目錄下三個 gzip 檔:檔案屬性、延伸屬性(含 ACL)與遠端檔案清單。這些是給「重新連結原則」用的,讓另一台 NAS 可以接手同一批雲端檔案。

也就是說,雲端儲存的管理者(或拿到存取金鑰的人)可以直接讀到所有檔案內容與目錄結構。若目的地是公有雲,建議在儲存端另外啟用伺服器端加密。NAS 本機的 MongoDB 裡,雲端存取金鑰則是加密後才存放。

預設規則撞上 Qsirch:檔案永遠不會變冷

這是本次最實際的發現。同一台 NAS 裝了 Qsirch,CyberQ 新增兩個 400 KB 文字檔並把存取時間改回 2024 年:

  1. Qsirch 在 1 秒內偵測到新檔、讀檔建索引,存取時間被改成現在。
  2. 再用 touch 把存取時間改回舊值,這個動作會改變檔案的 ctime,Qsirch 又重新索引一次,存取時間再次被更新。
  3. 以預設規則(上次存取超過 1 年)執行原則:掃描 10 個檔,分層 0 個。

會讀檔的服務不只 Qsirch,縮圖產生、多媒體索引、防毒掃描、部分備份工具都會。在這類環境用預設規則,FileTiers 可能永遠找不到冷資料。改加一條「修改時間早於 1 年」的進階規則後,兩個檔立刻被分層。實務上,建議以修改時間、檔案類型或資料夾為主要條件,存取時間只當輔助。

反過來看,Qsirch 8.1 對分層檔的處理相當得體,分層後重新索引時沒有從雲端下載任何資料,搜尋結果仍會命中,項目類型標成 tier;縮圖只回傳通用圖示,只有使用者按「開啟」才會真正下載。Qsirch 的系統設定也有一個 tier_file_extract_disable 參數(預設關閉)。不過已分層的檔案沒有出現在 AI 模式的搜尋結果裡,這部分在 Qsirch 實測文另有說明。

讀取、改寫與刪除

讀取

只讀分層檔的前 4 KB,FileTiers 也會把整個物件下載下來。50 MB 的檔產生約 52 MB 的雲端流量,300 MB 的檔首次讀取前 4 KB 只要 14 毫秒,讀完整個檔 675 毫秒(區網環境)。讀取分層檔不會更新存取時間,原則統計也不把它算成召回,檔案歷程記錄裡標為下載。

改寫

對分層檔追加一行文字,FUSE 先把整個物件抓回來,檔案回到本機(記錄為召回),內容完整。有一個小瑕疵:召回後檔案的 mode 位元從 644 變成 777。筆者比對了 ZFS 上的 richacl,前後逐位元組相同,實際權限並沒有改變,只是 ls 看起來不對,可能會讓稽核腳本誤報。

刪除

刪掉一個分層檔,本機立即消失,但雲端物件當下仍在。下一次執行原則時,被刪的檔與已召回改寫的檔,兩個雲端物件才一起被清掉。清理是延後進行的,在兩次執行之間,雲端用量會比本機看到的多。

讀過的檔案會留在本機快取

改寫以外,讀取也會把資料帶回本機,只是藏在別處。重開機後再讀先前讀過的分層檔,雲端流量是 0,檔案歷程也沒有新紀錄。追查後發現,共用資料夾根目錄多了一個隱藏目錄 .@autotier_cache(權限只有 admin 可進),裡面以檔案 ID 為名,存著每一個被讀過的分層檔的完整副本,本次累積了 351 MB。

這代表:

  • 原始路徑上的檔案仍顯示 0 區塊,資料夾大小看起來省下了空間,但共用資料夾的實際用量已經回升。
  • 快取在重開機後仍然存在,下次讀取直接命中,不用再付雲端流量費用,這是好處。
  • 程式裡有 EvictCache 與低空間事件的處理,推測空間吃緊時才會清,介面上找不到快取上限或手動清除的設定。

對想用 FileTiers「釋放空間」的使用者來說,一個常被讀取的檔案即使被分層,空間也會很快回來。這也是為什麼規則的選擇比想像中重要。

快照與重開機

用 ZFS 快照觀察,快照裡的分層檔只是 59 位元組的符號連結,不含資料。也就是說,NAS 本機的快照保護不到已分層的檔案,資料的安全完全取決於雲端端。FileTiers 還會自動把它的檔案系統疊加掛到被存取的快照目錄上。

另外一個不大不小的發現,CyberQ 用 zfs snapshot 建的測試快照,即使用 root 執行 zfs destroy 也會被拒絕(permission denied)。這是 QuTS hero 核心層的快照保護,屬於防勒索設計,算不錯,最後要先用儲存工具把快照匯入系統,再從系統的快照管理刪除。

重開機後,filetiersfs 會自動重新掛載,原則與分層檔都能正常存取。

刪除原則與解除安裝

刪除原則時,系統會先把所有分層檔召回(介面寫明「移除原則前,所有分層檔案都會完全召回,以避免資料遺失」)。本次三個檔都已在本機快取,所以 6 秒內就完成,雲端流量是 0,召回後兩個大檔的 SHA-256 都與建立時一致,召回的檔案 mode 同樣都變成 777。

雲端那邊,資料物件與原則檔被刪除,但 db_<時間>/ 下的三個中繼資料檔沒有被刪。這三個檔含有路徑、屬性與 ACL 資訊,不再使用 FileTiers 時,建議到儲存端手動刪除。

解除安裝 26 秒完成,但留下:

  • filetiersfs 核心模組仍載入記憶體(重開機才會消失)
  • 共用資料夾裡空的 .@autotier_cache 目錄
  • /share/external/.autotier 空目錄
  • 系統 Docker 裡已停止的 autotier_mongo 容器與 265 MB 的映像檔

這些都不影響運作,但對想把 NAS 恢復原狀的管理者來說,需要手動清理。

適合資料量大的封存資料

CyberQ 實測認為,FileTiers 1.0 的核心機制是可靠的,分層、讀取、改寫與召回的資料都正確,雲端上就是原檔,必要時不靠 FileTiers 也拿得回來。但作為 Beta 版,它有幾個需要先知道的地方:

  1. 預設的「存取時間」規則容易被其他服務干擾,建議改用修改時間等條件。
  2. 讀過的檔案會留在隱藏快取,省下的空間不一定是真的。
  3. 雲端上的檔案沒有加密,金鑰與儲存端的安全設定要自己顧。
  4. 目的地目前只有 myQNAPcloud Storage 與 QuObjects 兩種選項。
  5. 刪除原則與解除安裝後,雲端與本機都有少量殘留。

適合的場景是,資料量大、確實長期沒人修改的封存資料(例如舊專案、影片原始檔),並且搭配修改時間規則與一個有伺服器端加密的 S3 相容目的地。