SGLang 部署前沿大模型

┌────────────────────────────────────────────────────────────┐
│   Weights   │  KV Cache Pool  │  CUDA Graph  │ Activations │
└────────────────────────────────────────────────────────────┘
 └──── mem_fraction_static ────┘
                                 └──────── 剩余部分 ────────┘

mem_fraction_static = (model weights + KV cache pool) / GPU memory capacity

max_total_num_tokens=665690, chunked_prefill_size=8192, max_prefill_tokens=16384,
max_running_requests=4096, context_len=65536, available_gpu_mem=13.50 GB

KV_bytes_per_token = 2 × n_layers × n_kv_heads × head_dim × dtype_bytes
                     ↑                        ↑
                     K 和 V 各一份            这里是唯一的架构差异

2 × 80 × 8 × 128 × 2 = 327,680 B ≈ 320 KiB / token

KV_bytes_per_token = n_layers × (kv_lora_rank + qk_rope_head_dim) × dtype_bytes

61 × (512 + 64) × 2 = 70,272 B ≈ 68.6 KiB / token

78 × (512 + 64) × 1 = 44,928 B ≈ 43.9 KiB / token

Decode batch. #running-req: 233, #token: 370959, token usage: 0.82,
cuda graph: True, gen throughput (token/s): 4594.01, #queue-req: 317

Client
  │  HTTP / SSE
  ▼
┌─────────────────────────────────────────────┐
│  HTTP Server (FastAPI + uvicorn)            │
│  · 分词 / chat template / 多模态预处理        │
│  · OpenAI 兼容接口                            │
└───────────────┬─────────────────────────────┘
                │ ZMQ / IPC
                ▼
┌─────────────────────────────────────────────┐
│  Scheduler × (TP × DP × attn-dp)            │
│  · RadixCache：基数树前缀复用                 │
│  · Token 预算分配 / chunked prefill           │
│  · Retract（KV 不足时回退请求）                │
└───────────────┬─────────────────────────────┘
                ▼
┌─────────────────────────────────────────────┐
│  Model Runner × N (每卡一个)                  │
│  · Attention backend（fa3/fa4/flashmla/dsa） │
│  · MoE runner（deep_gemm/triton/flashinfer） │
│  · All-to-all（deepep/mooncake/nixl/mori）   │
└─────────────────────────────────────────────┘

① 接入        HTTP → 鉴权 → SSE 建连
                 ↓
② 输入处理    分词 → chat template → 多模态解码
                 ↓  --tokenizer-worker-num 可并行
③ 前缀匹配    RadixCache 查找最长公共前缀
                 ↓  --schedule-policy lpm 可优化
④ 排队调度    token 预算分配 → chunked prefill 切块
                 ↓  --max-prefill-tokens / --chunked-prefill-size
⑤ KV 分配     从 KV 池取页 → 不足则 retract
                 ↓  --page-size / --mem-fraction-static
⑥ 前向        prefill / decode → 采样
                 ↓  --attention-backend / --moe-runner-backend
⑦ 输出        反分词 → 流式推送
                 ↓  --stream-interval

TP（张量并行）        层内切权重，每层 all-reduce
PP（流水并行）        按层切，stage 间传激活
DP（数据并行）        整模型复制，各跑各的请求
EP（专家并行）        MoE 专家分散，all-to-all 派发
DCP（解码上下文并行）  MLA 潜变量与索引器 KV 切到多卡

python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V3-0324 \
  --tp-size 16 \
  --attn-dp-size 8 \
  --moe-a2a-backend deepep \
  --mem-fraction-static 0.8

模型能装进单卡？
├─ 是 → 单卡，无需并行
└─ 否 → 是 MoE？
        ├─ 否（稠密）→ TP = 卡数（单机）；跨机加 PP
        └─ 是 → 瓶颈是延迟还是吞吐？
                ├─ 延迟 → TP 优先 + 小 max-running-requests
                └─ 吞吐 → DP（或 attn-dp）+ EP + 大 batch
                          · 单机：--tp 8 --ep 8 --moe-a2a-backend deepep
                          · 多机：--tp 16 --attn-dp-size 8
                └─ 长上下文 → 加 --dcp-size 或 HiCache

# Prefill 实例
python -m sglang.launch_server \
  --model-path meta-llama/Llama-3.1-8B-Instruct \
  --disaggregation-mode prefill \
  --port 30000 \
  --disaggregation-ib-device mlx5_roce0

# Decode 实例
python -m sglang.launch_server \
  --model-path meta-llama/Llama-3.1-8B-Instruct \
  --disaggregation-mode decode \
  --port 30001 \
  --base-gpu-id 1 \
  --disaggregation-ib-device mlx5_roce0

# Router
python -m sglang_router.launch_router \
  --pd-disaggregation \
  --prefill http://127.0.0.1:30000 \
  --decode http://127.0.0.1:30001 \
  --host 0.0.0.0 --port 8000

# Prefill（每节点都执行，node-rank 0/1）
python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V3-0324 \
  --disaggregation-ib-device ${device_name} \
  --disaggregation-mode prefill \
  --host ${local_ip} --port 30000 \
  --trust-remote-code \
  --dist-init-addr ${prefill_master_ip}:5000 \
  --nnodes 2 --node-rank 0 \
  --tp-size 16 --attn-dp-size 8 \
  --moe-a2a-backend deepep \
  --mem-fraction-static 0.8

# Decode（额外限制并发）
python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V3-0324 \
  --disaggregation-mode decode \
  --host ${local_ip} --port 30001 \
  --dist-init-addr ${decode_master_ip}:5000 \
  --nnodes 2 --node-rank 0 \
  --tp-size 16 --attn-dp-size 8 \
  --moe-a2a-backend deepep \
  --mem-fraction-static 0.8 \
  --max-running-requests 128

# 单卡（H100/H200/B200，或 A100 80G）
python -m sglang.launch_server --model-path openai/gpt-oss-120b

# 多卡
python -m sglang.launch_server --model-path openai/gpt-oss-120b --tp 4

# 工具调用
python -m sglang.launch_server \
  --model-path openai/gpt-oss-120b \
  --tool-call-parser gpt-oss \
  --reasoning-parser gpt-oss

from openai import OpenAI

client = OpenAI(base_url="http://localhost:30000/v1", api_key="EMPTY")
r = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "Explain eigenvalues briefly."}],
)
print(r.choices[0].message.content)

# H200 × 8，FP8，吞吐优先（文本）
python -m sglang.launch_server \
  --model-path Qwen/Qwen3.5-397B-A17B-FP8 \
  --tp-size 8 \
  --mem-fraction-static 0.85 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --enable-symm-mem

# B200/B300，FP8，加 Blackwell 专用优化
python -m sglang.launch_server \
  --model-path Qwen/Qwen3.5-397B-A17B-FP8 \
  --tp-size 4 \
  --moe-runner-backend flashinfer_trtllm \
  --linear-attn-prefill-backend flashinfer \
  --enable-flashinfer-allreduce-fusion \
  --reasoning-parser qwen3

export SGLANG_USE_AITER=1
export SGLANG_USE_AITER_UNIFIED_ATTN=1
export AITER_FLYDSL_FORCE=1
export SGLANG_MAMBA_SSM_DTYPE=bfloat16

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.5-397B-A17B-FP8 \
  --tp-size 4 \
  --attention-backend aiter \
  --page-size 16 \
  --enable-aiter-allreduce-fusion \
  --reasoning-parser qwen3

export VLLM_ROCM_USE_AITER=1   # 注意：SGLang 的 MXFP4 路径沿用此变量名
export ROCM_QUICK_REDUCE_QUANTIZATION=INT4

python -m sglang.launch_server \
  --model-path amd/Qwen3.5-397B-A17B-MXFP4 \
  --tp-size 1 \
  --attention-backend aiter \
  --page-size 16 \
  --max-running-requests 64 \
  --reasoning-parser qwen3

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.5-397B-A17B-FP8 \
  --tp-size 8 \
  --context-length 1010000 \
  --json-model-override-args '{"text_config":{"rope_parameters":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":262144,"rope_theta":10000000,"partial_rotary_factor":0.25,"mrope_interleaved":true,"mrope_section":[11,11,10]}}}'

# Prefill 节点
python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V4-Pro \
  --tp-size 4 \
  --ep-size 4 \
  --moe-a2a-backend mori \
  --disaggregation-mode prefill \
  --disaggregation-ib-device mlx5_0 \
  --mem-fraction-static 0.85 \
  --reasoning-parser deepseek-v4 \
  --tool-call-parser deepseekv4

# Decode 节点
python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V4-Pro \
  --tp-size 4 \
  --ep-size 4 \
  --moe-a2a-backend mori \
  --attn-dp-size 8 \
  --enable-dp-attention-local-control-broadcast \
  --tokenizer-worker-num 8 \
  --stream-interval 20 \
  --prefill-decode-interval 10 \
  --disaggregation-mode decode \
  --disaggregation-ib-device mlx5_0 \
  --mem-fraction-static 0.85 \
  --max-running-requests 128

# Router
python -m sglang_router.launch_router \
  --pd-disaggregation \
  --prefill http://<prefill-ip>:30000 \
  --decode http://<decode-ip>:30001 \
  --host 0.0.0.0 --port 8000

git clone -b kimi-k3.1-day-0 https://github.com/sgl-project/sglang.git
cd sglang && pip install -e "python"

# Low-Latency（TP8）
python -m sglang.launch_server \
  --model-path moonshotai/Kimi-K3.1-Pro \
  --tp-size 8 \
  --mem-fraction-static 0.85

# High-Concurrency（DCP8，KV 切到 8 卡）
python -m sglang.launch_server \
  --model-path moonshotai/Kimi-K3.1-Pro \
  --tp-size 8 \
  --dcp-size 8 \
  --mem-fraction-static 0.85

# High-Throughput（PD 分离，prefill PP4×PCP2，decode DCP8·EP2）

python -m sglang.launch_server \
  --model-path moonshotai/Kimi-K3.1-Pro \
  --tp-size 8 \
  --dcp-size 8 \
  --attention-backend tokenspeed_mla \
  --kv-cache-dtype fp8_e4m3 \
  --mem-fraction-static 0.82 \
  --max-running-requests 128 \
  --speculative-algorithm EAGLE \
  --speculative-num-steps 3 \
  --reasoning-parser kimi_k3 \
  --tool-call-parser kimi_k3

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-Flash-Next-FP8 \
  --tp-size 4 \
  --ep-size 4 \
  --moe-runner-backend flashinfer_trtllm \
  --linear-attn-prefill-backend flashinfer \
  --mem-fraction-static 0.85 \
  --enable-hierarchical-cache \
  --hicache-ratio 1.5 \
  --speculative-algorithm NEXTN \
  --speculative-num-draft-tokens 3 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-Flash-Next-FP8 \
  --tp-size 8 \
  --ep-size 8 \
  --moe-runner-backend triton \
  --mem-fraction-static 0.85 \
  --max-running-requests 256

python -m sglang.launch_server \
  --model-path zai-org/GLM-5.3 \
  --tp-size 8 \
  --ep-size 8 \
  --moe-a2a-backend deepep \
  --dsa-topk-backend sgl-kernel \
  --tool-call-parser glm47 \
  --reasoning-parser glm45 \
  --mem-fraction-static 0.85

export SGLANG_OPT_USE_TOPK_V2=true
export SGLANG_TIMEOUT_KEEP_ALIVE=900

python -m sglang.launch_server \
  --model-path amd/GLM-5.3-Quark-MXFP4-AttnFP8 \
  --tp-size 4 \
  --ep-size 4 \
  --trust-remote-code \
  --kv-cache-dtype fp8_e4m3 \
  --dsa-prefill-backend triton \
  --dsa-decode-backend triton \
  --tool-call-parser glm47 \
  --reasoning-parser glm45 \
  --chunked-prefill-size 32768 \
  --mem-fraction-static 0.85 \
  --max-running-requests 20 \
  --cuda-graph-max-bs-decode 20

--enable-hierarchical-cache \
--hicache-size 180        # GB per rank；4 rank 需要约 720 GB host 内存
--hicache-write-policy write_through \
--hicache-io-backend kernel \
--hicache-mem-layout page_first

# NVIDIA Blackwell，MXFP8
python -m sglang.launch_server \
  --model-path MiniMaxAI/MiniMax-M3-MXFP8 \
  --tp-size 8 \
  --reasoning-parser auto \
  --tool-call-parser auto \
  --mem-fraction-static 0.85

# Hopper（H200）用 BF16 全精度
python -m sglang.launch_server \
  --model-path MiniMaxAI/MiniMax-M3 \
  --tp-size 8 \
  --reasoning-parser auto

# 官方 benchmark 脚本
python -m sglang.bench_serving \
  --backend sglang \
  --host 127.0.0.1 --port 30000 \
  --model Qwen/Qwen3.5-397B-A17B-FP8 \
  --dataset-name random \
  --random-input 8000 \
  --random-output 1024 \
  --num-prompts 256 \
  --max-concurrency 64

docker run --gpus all \
  --shm-size 32g \
  --ipc=host \
  -p 30000:30000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HF_TOKEN=<your-token>" \
  lmsysorg/sglang:latest \
  python -m sglang.launch_server --model-path <model> --host 0.0.0.0 --port 30000

# 启用 Prometheus 指标
--enable-metrics

# 查看
curl http://localhost:30000/metrics