AI 的參數量 (通常我們會說多少B的參數量，如20B、70B，就是200億或700億這麼多)，在選擇Large Language Model (LLM)時扮演著關鍵角色，這是因為它直接影響模型的三個核心面向：能力、記憶和計算需求。
在能力方面，參數量決定了模型捕捉和表達資料模式的程度。較大的模型因具備更多參數，能更準確地學習複雜關係並做出精確預測。這使得LLM能夠掌握更廣泛的詞彙、語法結構和上下文信息。同時，參數量也影響著模型的記憶能力，更多的參數意味著模型能在內部儲存更多已學習的資料特徵，這對於需要長期依存關係或上下文的任務特別重要。
然而，較大的參數量也帶來了更高的計算需求。這些模型需要更長的運算時間和更強大的硬體支援，可能延長訓練過程並增加部署成本。因此，在選擇LLM模型時，需要權衡模型大小與可用計算資源。對於基礎的語言處理應用，較小的模型可能已經足夠；但如果需要更進階的功能，如自然語言生成或對話系統，則可能需要在更強大的硬體上執行較大的模型。
現階段各國的 AI 研究人員也積極採用各種最佳化技術，以提升大型 LLM 的效能並增加其可理解性。同時，也在探索更節能的架構設計，希望在不過度消耗計算資源的情況下達到相似的性能表現。
在硬體採用方面，我們執行本地端 LLM 需要完善的系統設施，包括：
1、最重要的圖形處理器（GPU）加速矩陣運算。
2、其次是高效能的中央處理器（CPU）可以協助訓練和推理，有些任務會是 GPU + CPU 協同的工作，部分任務給 CPU 分工
3、充足的記憶體（RAM）確保模型運作順暢，除了顯示卡上 GPU 用到的 VRAM，還有伺服器或電腦本身主機板上的 DRAM 記憶體們。因此近年統一記憶體規格的電腦如 Mac、NVIDIA DGXSpark 這類設備，會更適合來跑 LLM 模型，因為記憶體夠多， CPU 和 GPU 可以有效地來管理模型用到的記憶體和分配資源使用。
4、大容量的儲存空間存放資料集與模型，這邊會建議系統中以快速的 SSD 來放工作用的模型和資料集，加快載入模型速度，然後 Output 資料夾和用不到的大量 AI 模型備份與不同版本可放在另一個硬碟或 NAS 上。模型需要時再調用，Output 資料夾則放 AI 模型產出的圖片、影像檔、文字與其他輸出等等。
5、特定應用處理器（ASP）提升特定任務效能，部分 NLP 晶片可以加速特定任務的效能
適當的作業系統和開發環境
此外，還需要考慮冷卻系統和網路連接等輔助設施。選擇具體的硬體配置時，應根據任務需求、模型規模及預算限制來決定，必要時可諮詢IT專家的意見。
隨著技術持續進步，我們可以期待未來會出現更多高效能的LLM模型，為各行各業帶來創新的語言處理解決方案。在選擇和部署這些模型時，關鍵是要在功能需求、資源限制和實際應用效果之間找到最佳平衡點。
為什麼參數量在選擇合適的LLM模型時很重要 ?
以下是我們整理常見的不同參數模型，需要不同的概略規格與硬體、應用的比較表 :
能力: 參數量會影響模型捕捉和代表資料中的模式程度。較大的模型通常具有更多的參數，從而能夠更準確地學習複雜關係，並做出更精確的預測。在語言處理任務中，這意味著LLM可以掌握更廣泛的詞彙、語法結構和上下文資訊。
記憶: 參數量還影響模型儲存已學習過資料特徵的能力。具有更多參數的模型可以將這些特徵儲存在內部，這在處理需要長期依存關係或脈絡的任務時非常有用。在LLM 的情境中，記憶體容量允許模型保持文本片段的上下文資訊，有助於生成更連貫、相關和合乎邏輯的回應。
計算需求: 參數量會影響訓練和推理所需的計算資源。較大的模型通常需要更多的運算時間和更強大的硬體來執行，這可能導致延長訓練過程並增加部署成本。此外，電腦系統必須具有足夠的記憶體、CPU能力和儲存空間才能高效地處理這些模型。
基於這些原因，在選擇LLM模型時，要權衡模型大小與計算資源之間的關係。如果目標是開發能在家用電腦上執行且具有基本語言處理能力的應用，則較小型的模型可能就足夠了。然而，如果需要更先進、更精確的語言處理功能，如自然語言生成或對話系統，那麼較大的模型將是必要之選，並且最好在公司伺服器等計算能力更強的大型 AI 運算機器上執行。
硬體實作時的額外考量：
VRAM 需求計算基礎： 我們在上述估算表中，通常以16-bit 浮點數 (FP16/BF16) 或量化版本 (如 4-bit, 8-bit) 為基礎。實際執行時，模型、快取、最佳化技術等都會影響所需的 VRAM。有的設定和工具，可以減少 VRAM 的耗用量，讓比較少記憶體的顯卡設備能載入比原本規格可執行時更大參數的模型，可以多加利用。
RAM (DRAM/記憶體)： 即使模型主要在 GPU (VRAM) 上執行，系統記憶體 (RAM) 仍需足夠，以處理資料載入、CPU 協同運算、模型快取等。對於較大的模型，建議至少配備 32GB 或更多的記憶體，尤其是 Mac M 系列等統一記憶體架構的設備，或者是 NVIDIA 新推出的 DGX Spark，這些設備的 RAM 容量會直接影響其可執行模型的上限。
CPU 也是很重要的，也別忘了儲存設備，怎麼說呢?
CPU 雖然沒有 GPU 在 AI 使用時的高度算力，但它的主要任務，是用於訓練和推理時的協同工作、資料預處理等。效能好的 CPU ，越能提高整體系統效率。
儲存： 建議使用高速 SSD 存放模型檔和資料集，以加快模型載入速度，這對於大型模型尤為關鍵。比方說我們在切換模型時，每秒幾百MB和每秒數GB的讀取速度就差很多，在模型切換時會很明顯感受到差異。
擴展性： 對於較大的模型，如果 VRAM 不足，可以考慮使用 CPU 記憶體 (RAM) 來分擔模型負載（稱為 Offloading 或 Swapping），但這會顯著降低推理速度，不過已經是目前市場上的主流用法之一了，從OLLMA到ComfyUI都有類似的技術在實踐中。
選擇 LLM 的大小，就是在一種能力與計算資源之間的權衡：模型參數越大，能力越強、記憶越好，但同時對 VRAM 的需求也越高。要執行一個 70B 的頂級模型，家用電腦已無法負荷，必須轉向配備多張高階 GPU 的工作站或伺服器。
目前我們在這領域會去思考的問題是，較大的模型需要更強大的設備，還得加上更多的訓練時間才能收斂到合適的效能。其次，由於參數量眾多，大型模型往往難以解釋他們做出決策背後的原因，這在某些應用中可能不是理想的情況。
所以你會看到很多廠商們都努力地把模型做小，除了給更多本地端設備可以用之外，更重要的是小到一定的規模可以讓 AI 邊緣運算的裝置來使用，包括我們以前提過的手機、平板，但最多的會是工業應用的設備，如自動標籤機掃描、機器手臂、生產線相關的工作等等，它們需要一定大小且特化過的特定模型，以符合它們既定的任務，並提高自動化生產與相關自動化工作的效率。
期望未來這部分的應用和企業、生活中使用能更順與滿足人們的不同需求。
