并行策略可视化 — 权重 · KV Cache · 数据各自切了什么

DP · 数据并行 TP · 张量并行 PP · 流水线并行 EP · 专家并行 SP · 序列并行