2026 年的旗舰模型已经来到 2.8 万亿参数与 100 万 token 上下文（总参数量：Kimi-K3.1-Pro 2.8T、Qwen3.8-2.4T-A95B 2.4T、DeepSeek-V4-Pro 1.6T）。 显存、通信、调度三本账必须同时算平——而不同框架给出的解法截然不同。 这套手册覆盖 vLLM、SGLang、TensorRT-LLM、LMDeploy、MindIE、llama.cpp， 每份都包含参数释义、并行拓扑、逐模型配置与调优方法。
每份都是独立完整的部署手册，可按需阅读。
生态最广、模型支持最快。适合 2026 旗舰 MoE 的首选引擎。含 KV 显存计算器与本引擎推理拓扑。
RadixAttention 前缀复用 + PD 分离 + HiCache。MoE 推理性能标杆，DeepSeek 系首选。
NVIDIA 原生栈，内核最优。仅支持验证过的模型与硬件组合，Blackwell 上性能领先。
双引擎（TurboMind / PyTorch）。INT8 KV 与 --cp 是独门优势，国产硬件路径完整。
昇腾官方推理套件。config.json 驱动，多维并行完备，但已验证模型列表滞后于 2026 旗舰。
纯 C/C++，零 Python。本地/边缘部署与极致量化的唯一选择，MoE 可卸载到 CPU。
每份文档都有 HTML 与 Markdown 两个版本，内容一致。HTML 版带侧栏导航、明暗主题、代码复制按钮与并行拓扑图，适合阅读；Markdown 版适合纳入仓库、做 diff 或二次编辑。下表可直达任一格式。
| 文档 | HTML | Markdown | 规模 |
|---|---|---|---|
| vLLM | .html | .md | 0.33.0 |
| SGLang | .html | .md | 0.5.23 |
| TensorRT-LLM | .html | .md | 1.4.0rc2 |
| LMDeploy | .html | .md | 0.18.0 |
| MindIE | .html | .md | 3.1.0 |
| llama.cpp | .html | .md | v0.9.0 |
同一个模型，六个框架给出的答案不同。先看这张表选型。
| 维度 | vLLM | SGLang | TensorRT-LLM | LMDeploy | MindIE | llama.cpp |
|---|---|---|---|---|---|---|
| 硬件 | NVIDIA / AMD / Intel / TPU / Ascend | NVIDIA / AMD / Ascend / TPU / PPU | NVIDIA only | NVIDIA / AMD / Ascend / 寒武纪 | 昇腾 only | 全平台含 CPU |
| 2026 旗舰支持 | 最全 | 很全 | 验证列表制 | 滞后 | 滞后明显 | 不建议 |
| 前缀缓存 | 块哈希 | 基数树 | block reuse | 支持 | prefix cache | slot + cache |
| 显存闸门 | gpu-memory-utilization总显存比例 |
mem-fraction-static权重+KV 比例 |
free_gpu_memory_fraction剩余显存比例 |
cache-max-entry-count空闲显存比例 |
npuMemSize绝对值 GB |
-ngl层数 |
| 配置方式 | 命令行 | 命令行 | YAML | 命令行 / Python | JSON | 命令行 |
| EP 通信后端 | DeepEP / MoRI / FlashInfer | DeepEP / Mooncake / NIXL / MoRI / PPLX | Wide-EP + EPLB | — | AllGather / AllToAll | — |
| PD 分离 | NIXL / Mooncake | Mooncake / NIXL + Router | NIXL + orchestrator | — | 支持 + KV 池化 | — |
| 默认端口 | 8000 | 30000 | 8000 | 23333 | 1025 | 9931 |
四个框架的默认端口都不一样。写客户端代码时如果照抄了别家的示例，会连不上。另外显存参数的语义全都不一样——gpu-memory-utilization 是总显存比例，cache-max-entry-count 是空闲显存比例，npuMemSize 是绝对 GB 数。混用会差出一倍。
同一个模型在不同框架里的支持状态。空白代表未在官方文档中确认。
| 模型 | 规模 | vLLM | SGLang | TRT-LLM | LMDeploy | MindIE | llama.cpp |
|---|---|---|---|---|---|---|---|
| DeepSeek-V4-Pro | 1.6T / 49B | ✅ | ✅ | — | — | — | — |
| DeepSeek-V4.1-Flash | 552B | ✅ | ✅ | — | — | — | — |
| Qwen3.5-397B-A17B | 397B / 17B | ✅ | ✅ | ✅ | — | — | — |
| Qwen3.8-2.4T-A95B | 2.4T / 95B | ✅ | ✅ | ✅ | — | — | — |
| Qwen3.8-Flash-Next | 176B / 6B | ✅ | ✅ | ✅ | — | — | — |
| Kimi-K3 / K3.1-Pro | 2.8T / 16 of 896 | ✅ | ✅ | ✅ | — | — | — |
| GLM-5.3 | 743B / 39B | ✅ | ✅ | ✅ | — | — | — |
| MiniMax-M3 | 427B / 26B | ✅ | ✅ | ✅ | — | — | — |
| gpt-oss-120b | 117B / 5.1B | ✅ | ✅ | ✅ | — | — | ✅ |
| DeepSeek-V3.2 | 671B / 37B | ✅ | ✅ | ✅ | ✅ | ✅ | — |
| Qwen3-235B-A22B | 235B / 22B | ✅ | ✅ | ✅ | ✅ | ✅ | — |
| Llama-3.3-70B | 70B | ✅ | ✅ | ✅ | ✅ | — | ✅ |
先看官方支持，再看性能。2026 年的旗舰模型用了大量非常规架构（CSA/HCA 混合注意力、KDA 线性注意力、MSA 块稀疏），任何框架要支持都得写专门的 kernel。没有官方验证的组合，你面对的不只是性能问题，而是能不能正确推理的问题。
| 你的目标 | 读哪里 |
|---|---|
| 第一次部署大模型 | vLLM 文档 → 第 02 章（显存算术）→ 第 06 章 6.1（gpt-oss-120b 基线） |
| 要在 8 卡机上跑 1.6T 模型 | vLLM 第 05 章（并行选型）→ 第 06 章 6.3（DeepSeek-V4-Pro） |
| 要优化多轮 Agent 的 KV 复用 | SGLang 第 04 章（RadixAttention / HiCache）→ 第 07 章（调优） |
| 用 NVIDIA 官方栈追极致性能 | TensorRT-LLM 第 05 章（Wide-EP）→ 第 06 章（逐模型 YAML） |
| 显存只有 24GB | llama.cpp 第 04 章（-ngl / --n-cpu-moe）→ 第 06 章 |
| 在昇腾上部署 | MindIE 第 00 章（先确认模型支持状态）→ 第 06 章 6.5（vLLM-Ascend 路径） |