前言

近年來，大型語言模型（LLM）的技術進化顯著，如 ChatGPT 和 Claude 等基於雲端的 AI 服務已廣泛普及。然而，與此同時，對於「不想將公司的機密數據發送到外部伺服器」、「希望降低 API 的使用費用」、「想要建構完全離線運行的 AI 系統」等需求也正快速增加。

為了滿足這些需求，「本地 LLM（開源 LLM）」應運而生，你可以直接下載並運行在自己的電腦或公司內部的伺服器上。直到 2023 年左右，要在本地實現實用的精確度依然很困難，但隨著模型架構的進化和量化（Quantization）技術的發展，現在即便是消費級的 GPU（如 NVIDIA RTX 3090 / 4090 或 Mac 的 Apple Silicon 等），也能流暢地運行非常高效的 LLM。

本文將從眾多的開源 LLM 中，挑選出截至 2026 年評價特別高的「推薦 5 款模型」，並從極其詳細且技術性的角度，深入比較與解析它們的架構特徵、參數數量、基於 GGUF 量化的記憶體需求，以及具體的使用案例。

為什麼要在本地運行 LLM？

導入本地 LLM 擁有許多雲端 API 所不具備的獨特優勢。

1. 確保完全的隱私與安全性

使用雲端 API 時，輸入的提示詞與數據會被發送至外部企業的伺服器。在處理個人資訊或企業機密數據時，這將構成重大的風險。如果是本地 LLM，數據將完全在終端設備內進行處理，因此能將數據外洩至外部的風險降至為零。

2. 大幅降低成本

商業 API（如 OpenAI API 等）是根據輸入及輸出的 Token 數量進行按量計費。如果需要處理大量文件，或讓聊天機器人持續運作，每個月可能會產生數萬至數百萬日圓的成本。相對地，本地 LLM 只需要硬體的初期投資和電費，即可無限次、不限 Token 數量地使用。

3. 客製化能力與離線使用

開源 LLM 很容易使用自有的資料集進行微調（如 LoRA 等）。此外，它可以在沒有網際網路連線的完全離線環境或安全封閉的網路中運行，因此也非常適合嵌入至邊緣裝置中。

運行本地 LLM 的基礎知識

在介紹模型之前，讓我們先從數學角度整理一下在本地環境中運行 LLM 時不可避免的「VRAM 需求」與「量化（Quantization）」概念。

VRAM（視訊記憶體）與量化的數學基礎

為了讓 LLM 在 GPU 上進行推論，必須將模型的參數（權重）載入至 VRAM 中。模型的記憶體需求 $M$ 可以用以下公式進行近似計算：

$$ M = \frac{P \times B}{8} + C $$

其中：

$M$: 所需記憶體容量（GB）
$P$: 參數數量（Billion = 10億）
$B$: 每個參數的位元數（FP16 為 16 位元，4-bit 量化為 4 位元）
$C$: 上下文視窗（KV Cache）或推論時的開銷（通常估計為模型大小的 20%～30% 左右）

例如，如果要以 16 位元浮點數（FP16）運行參數數量為 80 億（8B）的模型：

$$ M_{FP16} = \frac{8 \times 16}{8} = 16 \text{ GB} $$

如果再考慮到 KV Cache 等因素，將會需要將近 18GB 到 20GB 的 VRAM，這對於一般的電競電腦來說很難運行。

GGUF 格式的崛起

為此，「量化（Quantization）」技術應運而生。透過將參數的精度從 FP16 降低至 8-bit、4-bit，甚至在極端情況下降至 2-bit，可以在將模型效能下降降至最低的同時，大幅減少所需的記憶體量。

目前最普及的格式是由 Georgi Gerganov（llama.cpp 的開發者）所構思的 GGUF (GPT-Generated Unified Format)。GGUF 是一種為了在 CPU 與 GPU 上進行高效推論的二進制格式，特別值得一提的是，它與 Mac (Apple Silicon) 的統一記憶體（Unified Memory）架構相容性極佳。

如果將 8B 模型進行 4-bit（例如：Q4_K_M）量化，記憶體的計算如下：

$$ M_{4bit} = \frac{8 \times 4.5}{8} = 4.5 \text{ GB} $$

※由於 Q4_K_M 對部分權重保留了較高的精度，因此實際有效位元數約為 4.5 位元。

如此一來，即使是只有 8GB VRAM 的入門級 GPU 或一般的筆記型電腦，也能夠在本地流暢地運行 8B 等級的強大 LLM。

模型的技術性比較與跑分

在這裡，我們從量化角度來比較運行上述介紹模型時的「VRAM 需求」與「推論速度」。

參數數量與 VRAM 需求的關係（GGUF 4-bit 量化時）

以下圖表顯示了各模型的參數數量對應推論時所需 VRAM 的估計值（包含 KV Cache 開銷）。

xychart-beta title "參數數量與所需 VRAM（假設 4-bit 量化）" x-axis "模型名稱" ["Phi-3 Mini (3.8B)", "Llama 3 (8B)", "Gemma 2 (9B)", "Mixtral (8x7B)", "Qwen 2.5 (32B)", "Llama 3 (70B)"] y-axis "所需 VRAM (GB)" 0 --> 45 bar [3.5, 6.0, 6.5, 26.0, 22.0, 40.0]

※Mixtral 8x7B 由於總參數較大，會消耗較多 VRAM，但由於計算本身較輕，因此對 GPU 計算資源（如 CUDA 核心等）的負載較低。

推論速度（Tokens/sec）的理論計算

本地 LLM 的推論速度強烈依賴於 GPU 的「記憶體頻寬（Memory Bandwidth）」。這因為在生成階段（解碼）中，每生成一個 Token 都必須從記憶體中讀取出模型的所有權重。因此這是受記憶體限制（Memory-bound）的處理，而非受運算限制（Compute-bound）。

理論上的最大推論速度 $T$（Tokens/sec），可透過以下公式計算：

$$ T = \frac{\text{BW}}{M_{\text{weights}}} $$

其中：

$\text{BW}$: GPU 的有效記憶體頻寬 (GB/s)
$M_{\text{weights}}$: 已載入模型的大小 (GB)

舉例來說，計算在 NVIDIA RTX 4090（記憶體頻寬 1,008 GB/s）上運行 Llama 3 8B 4-bit 版（約 4.5 GB）的情況。假設有效頻寬約為理論值的 80%（約 800 GB/s）：

$$ T \approx \frac{800}{4.5} \approx 177 \text{ Tokens/sec} $$

這是遠超人類閱讀速度的驚人速度。另一方面，在同一張 RTX 4090 上運行 Llama 3 70B（4-bit 版約 40GB ※假設分割至 2 張 GPU 的情況下），Token 生成速度大約會落在 20 Tokens/sec 左右。透過這種方式，可以透過公式事先從自己的電腦規格預測「輸出的速度大概會多快」。

運行本地 LLM 的工具

目前，用於在本地環境中運行這些強大開源 LLM 的軟體生態系也非常豐富。以下介紹 3 款代表性工具。

1. Ollama

目前最簡單且最受歡迎的工具。它像 Docker 一樣，只需一行指令就能完成從下載模型到運行的過程。支援 Mac、Windows 及 Linux。只要打開終端機，輸入以下指令，Llama 3 就會啟動。

1

ollama run llama3

此外，Ollama 能在背景作為 REST API 伺服器運作，因此與 Python 腳本或外部應用程式整合也極其容易。

2. LM Studio

推薦給想要透過 GUI 介面直覺操作的使用者。您可以從應用程式內搜尋並下載 Hugging Face 上龐大的 GGUF 模型列表，並在類似 ChatGPT 的聊天畫面中享受對話。它還有一項非常方便的功能，能以視覺化的方式告訴您哪個模型適合您電腦的 RAM/VRAM 容量。

3. llama.cpp

本地 LLM 熱潮的推手，也是一切基礎的 C/C++ 實作函式庫。適合想要將效能調校到極致的工程師，或是想要將其嵌入至自訂腳本的駭客。它能將所有硬體的潛能發揮到極限，支援 Apple 的 Metal、NVIDIA 的 CUDA、AMD 的 ROCm，甚至 Intel 的 AVX 指令集。

總結與未來展望

本文介紹了截至 2026 年最高水準的 5 款開源本地 LLM，並解說了其架構與技術背景。依照目的區分的選擇方式總結如下：

重視整體平衡與生態系: Llama 3 (8B / 70B)
想在 Mac 等大容量統一記憶體環境中進行高速推論: Mixtral 8x7B
想在 24GB 等級 VRAM 中發揮最大智慧: Gemma 2 27B 或 Qwen 2.5 32B
目標是自然的日語輸出與進階的程式編寫輔助: Qwen 2.5
在手機、效能較差的電腦，或於背景進行超輕量處理: Phi-3 / Phi-3.5

開源 LLM 的進化速度非常驚人，幾乎每隔幾個月就會發表顛覆以往常識的突破。未來，隨著量化技術的進一步提升與新架構的出現，或許光靠本地環境就能超越雲端 AI 的日子也不遠了。請務必配合您自身的硬體環境下載最合適的模型，親身體驗本地 AI 所帶來的壓倒性自由與可能性。

Mistral on kenji.blog

推薦5款可本地運行的開源LLM模型

前言

為什麼要在本地運行 LLM？

1. 確保完全的隱私與安全性

2. 大幅降低成本

3. 客製化能力與離線使用

運行本地 LLM 的基礎知識

VRAM（視訊記憶體）與量化的數學基礎

GGUF 格式的崛起

推薦的本地 LLM 模型 5 選

1. Llama 3 (Meta)

架構的進化與特徵

參數規模與使用案例

2. Mistral / Mixtral (Mistral AI)

MoE (Mixture of Experts) 的運作原理

效能與使用案例

3. Gemma 2 (Google)

獨特的架構設計

效能與使用案例

4. Qwen 2.5 (Alibaba Cloud)

多語言支援與程式編寫能力

架構與使用案例

5. Phi-3 / Phi-3.5 (Microsoft)

SLM（小型語言模型）的革命

效能與使用案例

模型的技術性比較與跑分

參數數量與 VRAM 需求的關係（GGUF 4-bit 量化時）

推論速度（Tokens/sec）的理論計算

運行本地 LLM 的工具

1. Ollama

2. LM Studio

3. llama.cpp

總結與未來展望