企业级 LLM 推理系统参考设计
企业级大模型推理系统的建设，绝不只是”把一个开源推理引擎跑起来”。从几十卡的部门级集群到千卡规模的公共推理平台，从对话/代码/多模态到端侧边缘部署，每一种规模与场景对 延迟（TTFT / ITL）、吞吐（tokens/s）、成本（元/千 tokens） 与 安全合规 的权衡都完全不同。本章以”白皮书”体例，系统梳理一条从战略目标、规模分析、核心技术，到架构设计、实施落地、运维闭环的完整参考路径，既可作为架构决策依据，也可作为上线前的对照清单。
1. 战略定位与需求分析
本节回答”为什么要做推理优化”与”要为什么样的业务做推理优化”这两个前置问题，为后续的技术选型建立业务锚点。
- 背景与目标：推理在 AI 基础设施中占 85–95% 工作负载、80–90% 成本的事实基础，以及 TTFT/ITL/吞吐/成本四维目标体系的确立
- 集群规模分类与特征分析：小型（单机多卡）、中型（单机房）、大型（多集群 / 多地域）三档集群的特征、典型业务承载与资源画像
2. 核心技术与选型策略
本节深入推理优化的技术栈，并将技术选项与集群规模进行匹配，避免”大厂方案套小场景”或反之造成的资源错配。
- 核心推理优化技术深度解析：KV Cache、Continuous Batching、GPTQ / AWQ / SmoothQuant 量化、结构化剪枝、投机解码等核心技术的原理与权衡
- 不同集群规模的技术选型策略：按规模匹配 PD 分离、EP / TP / PP 并行、KV 分层存储等技术组合的选型矩阵
3. 架构设计与评估体系
本节聚焦”把技术组装成系统”的工程视角，覆盖从单服务架构到跨执行图的异构调度，以及可度量的 SLO 评估体系。
- 推理服务架构设计：网关、路由、推理后端、KV 缓存层、监控的标准分层架构与关键接口
- 面向推理执行图的异构调度系统架构设计：以推理执行图（IEG） 为核心调度对象，将调度粒度从”Pod/GPU 资源”提升到”Prefill/Decode/Tool/Retrieval 执行语义”的前沿设计
- 性能评估指标体系：TTFT/ITL/TPOT/吞吐/GPU 利用率/成本的多维指标定义与测试方法论
4. 专业场景：多模态、边缘与安全
通用推理架构之外，多模态、边缘与合规是三个需要独立设计的专题。
- 多模态推理优化：图像/视频编码器前置、视觉 token 压缩、跨模态 KV Cache 的工程策略
- 边缘推理优化：端侧 / 车端 / 云边协同场景下的模型裁剪、NPU 适配与动态下发
- 安全性与合规性：输入护栏（Prompt Injection / 越狱检测）、输出过滤、JWT + OPA 鉴权、数据脱敏、DevSecOps 合规流水线
5. 实施落地与运维闭环
从”方案就绪”到”稳定运营”的最后一公里，覆盖上线检查、故障诊断与长期演进。
- 实施建议与最佳实践：从 POC 到生产的分阶段推进路径、容量规划与灰度策略
- 实施检查清单：上线前的硬件、软件、网络、监控、预案等可逐项核对的检查项
- 场景问题解答：常见故障模式（OOM、尾延迟抖动、吞吐不达标等）的根因定位与处置手册
6. 延伸阅读与趋势展望
阅读建议：首次阅读按 §1 → §2 → §3 → §5 的顺序线性走完，建立体系认知；方案评审 可直接定位 §2 的技术选型矩阵 + §3 的架构设计 + §5 的检查清单三份文档作对照；专项问题（多模态 / 边缘 / 合规）可单独深入 §4。