Consistent Hash — 同 key → 同 Worker → KV Cache 热命中
3 个 Worker × 3 虚拟节点 = 9 个 VN 均匀散布在环上 | 发送 Key 观察路由
● 虚拟节点 (VN) = 环上圆点 |
弧段颜色
= 该段归属的 Worker | ● 环内小圆点 = Key 的 hash 位置 |
Key 归属规则
: Key 从 hash 位置
顺时针
找到第一个 VN，该 VN 所属的 Worker 接管此 Key
Worker 节点
每个 Worker = 3 个虚拟节点
Key 分布
Consistent Hash:
简单取模 hash%3:
发送一个 Key
清空 Key