利用 QNAP NAS 搭配 NVIDIA GPU算力：部署輕量級 AI 推論應用

對於許多中小企業用戶與小型工作室而言，QNAP NAS 早已不僅是單純的檔案儲存與備份中心。它強大的硬體擴充性與豐富的軟體生態，使其成為一台潛力無窮的伺服器。當我們為它再安裝一張如 NVIDIA RTX A2000 這樣的專業顯示卡時，這台 NAS 就會升級為不錯的 AI 運算平台。QNAP 目前還推出具備 NVIDIA RTX A4000 顯示卡的 QAI-h1290FX NAS ，可說為企業增加如虎添翼的 AI 工作站或小型 AI 伺服器，對造動輒數十萬元以上的品牌與白牌 AI 伺服器，較為實惠得多。

身為一個長期使用者，我一直探索如何將 QNAP NAS 的功用能夠繼續延伸，以 QNAP 中階規格的 NAS 來看，具備可安裝 PCI-E 顯示卡的機器不少，機器本身的供電規格，則限制了中小型 NAS 只能安裝較低瓦數的 NVIDIA 顯示卡來進行 AI 推論任務。

在安裝了 NVIDIA RTX A2000 顯示卡後，除了傳統的影音轉檔加速，我更看重的是它在 AI 領域的應用潛力。NVIDIA RTX A2000 具備低功耗、小巧的設計以及基於 Ampere 架構的強大 Tensor Core 與 CUDA 核心，非常適合在 NAS 這樣需要 24/7 全年無休運作的設備中，執行輕量級的 AI 推論任務。

這篇文章將以我的經驗為基礎，分享如何利用 QNAP NAS 搭配 NVIDIA 低功耗的顯示卡，透過 Container Station (容器工作站) 部署一個輕量級的 AI 物件偵測應用。我們下來會用廣受歡迎的 YOLO 模型為例，一步步實作一個專屬於自己的 AI 推論小型伺服器。

為何選擇 QNAP NAS + NVIDIA 低功耗顯示卡？

這樣的組合具備了幾項關鍵優勢：

資料不落地，安全無虞：AI 應用，特別是影像辨識，常涉及敏感或私密的資料。將運算部署在本地端的 NAS，所有資料都在自己的掌握之中，無須上傳雲端，大幅降低了隱私外洩的風險。

低延遲、高效率：本地端的運算免去了網路傳輸的延遲，對於需要即時反應的 AI 應用（例如，即時監控影像分析）至關重要。

能源與空間效益：NVIDIA RTX A2000 僅 70W 的 TDP (熱設計功耗)，無需外接電源，對於需要長時間運作的 NAS 來說，是一個兼具效能與節能的選擇。其小巧的體積也能輕鬆安裝於大部分支援 PCIe 擴充的 QNAP NAS 機種中。

類似這樣功耗的 NVIDIA 顯示卡都裝在 QNAP 許多具備 PCI-E 的 NAS 機種中，供電是夠的，更高瓦數超過一百多瓦與兩百多瓦的顯示卡就只能裝在他們高階機型上，以實際費用考量和整合度來說，不如去採購 QAI-h1290FX NAS，它上面採用的 NVIDIA RTX 4000 Ada 功耗是 130瓦，QNAP NAS 也是有機型能夠安裝，比如說 QNAP TS-677 (電源供應器 250 瓦)，更高耗電量規格的 NVIDIA 顯示卡可使用 QNAP TS-1277 (電源供應器 550 瓦，還具備給顯示卡的外接電源線) ，不過有些機種通常只能裝較小張的顯示卡，主要是卡片長度的關係，購置前請記得要先確認顯示卡的長度規格和高度，以免裝不進 NAS 的機殼。

另外，TVS-h1288X、TS-h1290FX 這類更高規格的機種，空間和供電量也夠，更適合來搭配強大的 NVIDIA 顯示卡來使用。

而本例使用的機種是 TS-855X，電源供應器是 250 瓦的規格，但機器本身搭配硬碟滿載差不多就要 90 瓦的功耗，因此只有剩下 140 瓦的餘裕，要安裝也是小卡的 NVIDIA RTX 4000 會比較吃緊，因此才選擇 70瓦的 NVIDIA RTX 2000。如果是QNAP TS-677，同樣提供 250 瓦的電源供應，但它本身硬碟滿載後的功耗只有55瓦，應該可以裝 130 瓦的 NVIDIA RTX 4000。

記憶體規格堪用：NVIDIA RTX A2000 有 12GB VRAM ，執行小型本地端 LLM、推論模型與圖片生成等任務是還夠用的，機器有餘裕或電力供應充足的 NAS 則更可考慮 16GB 到更多記憶體版本的顯示卡，如 NVIDIA RTX 4000 Ada，就具備 20GB VRAM。

彈性與可擴展性：QNAP 的 Container Station 支援 Docker，讓我們可以輕鬆部署各種預先打包好的 AI 模型與應用，並視需求快速切換、升級。從智慧家庭的影像管家到小型零售業的客流分析，應用潛力無窮。

前置準備：硬體與軟體設定

在開始部署之前，逐步完成以下準備工作：

硬體安裝：將 NVIDIA A2000 顯示卡正確安裝至 QNAP NAS 的 PCIe 插槽中。請參考自己 NAS 的使用手冊文件，以確保安裝過程正確無誤。

QNAP 韌體與 App 更新：登入您的 QTS 管理介面，確認系統韌體已更新至最新版本。並前往 App Center 安裝或更新以下幾個關鍵應用程式：

Container Station (容器工作站)：這是我們部署 AI 應用的核心工具。

NVIDIA GPU Driver：請在 App Center 中找到並安裝對應的 NVIDIA 驅動程式，這是讓 QTS 系統及容器能夠辨識並使用 GPU 算力的關鍵。

圖片中左下角的兩個 NVIDIA GPU 驅動程式套件都要安裝。

分配 GPU 資源：這是最重要的一個步驟。

前往 QTS 的「控制台」 > 「系統」 > 「硬體設定」。

在「硬體資源」分頁中，您會看到已安裝的 NVIDIA RTX A2000。

將「資源用途」從預設的「QTS」切換為「Container Station」。系統會提示需要重新啟動相關應用程式，請確認執行。

在 QTS 中將 GPU 資源分配給 Container Station

完成以上設定後，您的 QNAP NAS 就已經準備好利用 NVIDIA RTX A2000 的強大算力了。

實戰部署：透過 Container Station 運行 YOLO 物件偵測

接下來，我們將使用 YOLO 官方提供的 YOLO Docker 映像檔，來快速建立一個物件偵測服務。

開啟 Container Station 並建立應用

打開 Container Station，在左側選單選擇「應用程式」，並點擊「建立」。

為您的應用程式命名，例如 yolo。

在下方的 YAML 編輯器中，我們將貼上類似 docker-compose.yml 的設定檔。這能讓我們更精準地控制容器的各項參數。

撰寫 YAML 設定檔

請將以下內容貼至 Container Station的應用安裝時的 YAML 編輯器中做檢測與安裝。這段設定檔做了幾件重要的事情：

image: ultralytics/ultralytics:latest：指定使用 Ultralytics 官方提供的最新 YOLOv11 映像檔。這個映像檔已經內建了 PyTorch 與所有必要的 CUDA 工具。

volumes：將本機的資料夾掛載到容器內，方便我們傳輸圖片或影片進去進行偵測，並將結果儲存回 NAS。請先在您的 NAS 上建立對應的資料夾 (例如，在 /share/Container 下建立一個 yolo_data 資料夾)。
YAML

services:
  yolo:
    image: ultralytics/ultralytics:latest
    container_name: yolo-gpu-service
    command: >
      bash -c "yolo predict model=yolo11n.pt source='/usr/src/app/datasets/images'; tail -f /dev/null"
    volumes:
      - /share/Container/yolo_data:/usr/src/app/datasets
      - /share/Container/yolo_output:/ultralytics/runs
    devices:
      - "/dev/nvidia0:/dev/nvidia0"
      - "/dev/nvidiactl:/dev/nvidiactl"
      - "/dev/nvidia-uvm:/dev/nvidia-uvm"
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
      - NVIDIA_DRIVER_CAPABILITIES=compute,utility

設定檔撰寫說明：

command: 這行指令會讓容器在啟動後，自動使用 yolo11n.pt (一個輕量但準確的預訓練模型) 去偵測 /usr/src/app/data/images 資料夾內的圖片，完成後使用 tail -f /dev/null 讓容器持續運行，方便我們後續進入操作。

請將 /share/Container/yolo_data 替換為您在 NAS 上實際建立的路徑。並在這個路徑下再建立一個名為 images 的子資料夾。由於我們已經做了磁碟區掛載，您可以在這個 images 資料夾中，把要給 yolo 辨識物件的圖片放進去，等下啟動容器時就會自動進行辨識並把辨識結果輸出到 yolo_output 資料夾。

啟動並驗證