KV Cache 三维张量 — 一个 Token 的 K（或 V）长什么样？
一个 Token 的 K（或 V）长什么样？— [L × H_kv × D] 三维张量
L = 28 层
head 0
head 1
head 2
head 3
H_kv=4
D = 128 (简化显示 16 格)
0.3
每个格子 = 1 个 FP16 值 = 2 bytes
汇总: 一个 Token 的 K（或 V）占多少显存？
前面矩阵 (1 层): H_kv × D × B
= 4 × 128 × 2 = 1,024 Bytes
L 层 (28 层): L × H_kv × D × B
= 28 × 4 × 128 × 2 = 28,672 Bytes ≈ 28 KiB
K+V 两份: 2 × L × H_kv × D × B
= 57,344 Bytes ≈ 56 KiB
T=2048 tokens: T × 56 KiB
≈ 112 MiB