同一个模型，
两套算子。
训练定义算子，推理决定成本。从一座机房、一个 NVLink 机柜，一路放大到一颗 GPU 的屋顶线，看清大模型训推算子 Infra 的"倒挂"。
从一座 AI 机房开始。
机柜按冷热通道成排布置，液冷 CDU 沿墙排开，走线架悬在上方。训练集群通常是同一代硬件，推理集群往往多代混部。
一个机柜，一个 NVLink 域。
NVL72：18 个计算托盘、9 个 NVLink 交换托盘，72 张 GPU 全互联。
一个托盘，四张 GPU。
2 组 Grace Blackwell 超级芯片，共 4 个 GPU、2 个 CPU。冷板直贴芯片，前面板是网卡，后部是 NVLink 连接器。
移开冷板，看见封装。
封装四周是成排的供电级、电感和电容。单卡功耗已到千瓦级，供电和散热决定芯片能持续跑多快。
算力在 die 上，数据在 HBM 里。
两颗计算 die、8 个 HBM3e 堆栈。两者之间的带宽，决定了绝大多数推理算子跑多快。
- 01机房
- 02机柜
- 03服务器
- 04硬件
- 05芯片
瓶颈，
藏在封装里。
一颗数据中心 GPU 由计算 die、HBM 显存堆栈、硅中介层和封装基板组成。算力在 die 上，数据在 HBM 里，两者之间的带宽决定了绝大多数推理算子跑多快。
- 计算 dieH100 有 132 个 SM，FP8 稠密算力 1,979 TFLOPS
- HBM 堆栈多层 DRAM 叠在逻辑底座上。H100 带宽 3.35 TB/s，B200 约 8 TB/s，Rubin 约 19–22 TB/s
- 硅中介层以极高密度的走线连接 die 与 HBM
喂够 300 个 token，
算力才会醒。
线性层每读一遍权重，能做多少计算，取决于同时处理多少个 token。用 FP8 权重时，算术强度 ≈ 2M FLOP/Byte。
低于脊点，SM 在等数据；高于脊点，带宽在等 SM。拖动右侧滑块，看背景里的芯片怎么变化。
256 个专家，
每次只亮 8 个。
每个专家只分到 1/32 的 token。要让每个专家都处理约 300 个 token，全局每步得凑出约 9,600 个 token，单机 8 卡做不到，只能靠上百卡的专家并行。
| 模型 | 专家 / 激活 | 所需 token / 步 |
|---|---|---|
| DeepSeek-V3 · GLM-5 | 256 / 8 | ≈ 9,600 |
| Kimi K2 | 384 / 8 | ≈ 14,400 |
| Qwen3.5-397B | 512 / 10 | ≈ 15,400 |
| Llama 4 Maverick | 128 / 1 | ≈ 38,400 |
128 个头，
共享一份缓存。
算术强度取决于一份 KV 缓存被多少个 query 头复用。GQA 只有 8–16；MLA 让 128 个头共享同一份 latent，强度约 242，逼近 Hopper 的脊点 295。
- FlashMLA（H800）访存受限配置 3,000 GB/s，计算受限配置 580 TFLOPS
- 为什么不用张量并行128 头切到 8 卡后每卡 16 头，强度跌到约 30。DeepSeek 推理的 MLA 用数据并行
| 结构 | FLOP / Byte |
|---|---|
| 标准 MHA（g=1） | 1 |
| gpt-oss-120b（GQA g=8） | 8 |
| Qwen3.5 全注意力层（GQA g=16） | 16 |
| Kimi K2（MLA 64 头） | 121 |
| DeepSeek-V3（MLA 128 头） | 242 |
| H100 / H800 BF16 脊点 | 295 |
| DeepSeek-V3 + MTP（2 个 query） | 484 |
限制并发的，
是 KV cache。
长上下文下，HBM 里装的主要是 KV cache。能放多少 token，决定了能凑多大的 batch，也就决定了能不能越过屋顶线。
| 长上下文每 token 新增 KV | KB |
|---|---|
| Llama 3.1 70B（稠密 GQA） | 320 |
| DeepSeek-V3 / Kimi K2（MLA） | 68.6 |
| Qwen3.5-397B（3:1 混合） | 30 |
72 张 GPU，
一个 NVLink 域。
专家并行要求每一层都做 All-to-All。节点内和节点间的带宽差，直接塑造了训练和推理的并行方案。
- DeepSeek-V3 训练（H800）NVLink 实测约 160 GB/s，IB 有效约 40 GB/s，相差约 4 倍。因此不用张量并行，每个 token 最多跨 4 个节点
- 通信占用算力132 个 SM 中拿出 20 个专门做通信
- DeepEP 两套 kernel高吞吐模式用于训练与 prefill；低延迟模式纯 RDMA、不占 SM，用于 decode
每一代，
kernel 都要重写。
矩阵指令每代都在变，不同代之间的 kernel 互不兼容。训练集群通常只用最新一代，推理集群却混合多代硬件，推理侧的算子矩阵还要再乘以硬件代数。
Ampere
mma.syncwarp 级矩阵指令
→ FlashAttention-2
Hopper
wgmma TMA异步 warpgroup + 张量搬运
→ FA3、FlashMLA、DeepGEMM
Blackwell
tcgen05 TMEM累加器移入 Tensor Memory
→ FlashAttention-4
Blackwell 消费级
mma.sync没有 TMEM、tcgen05、wgmma
→ 回到 FA2 路径
Rubin
HBM4224 SM，19–22 TB/s
FP8 稠密 17.5 PFLOPS
训练定义算子，
推理决定成本。
推理的复杂度和成本占比更高，但新算子的定义权和最早的实现都在训练侧。
推理变体组合爆炸
阶段 × 精度 × 缓存 × 并行 × batch 形状。MLA、线性注意力、MoE 的 decode 路径在训练中根本不存在。
训练先行，推理定生死
DeepSeek 的 FlashMLA、DeepGEMM，Kimi 的 KDA kernel，都在模型发布当天一起开源。
推理 Infra 反向约束架构
MiniMax-M2 因 Infra 不成熟回到全注意力；Kimi K2 把注意力头从 128 减到 64。
一代训练，多代推理
DeepSeek-V4-Flash 移植到 MI300X 时，要修复 FP8 方言、MoE 路由和 mHC 算子等多处问题。