ai-infra-course

模块 7：从推理引擎到服务平台

90 分钟     45 页 PPT     1 个 Flask 网关     无独立可视化 (架构图在 PPT 中呈现)

目录结构

07-maas-infra/
├── README.md                    # 本文件
├── syllabus.md                  # 教学大纲 (90 分钟时间分配)
├── ppt-outline.md               # PPT 大纲 (45 页)
├── hands-on-exercise.md         # 课堂动手题
├── homework.md                  # 课后练习
├── lab-environment.md           # 实验环境搭建说明
└── code/                        # 配套代码
    ├── README.md                #   使用说明 + 测试步骤
    └── ai_gateway.py            #   Flask 简易 AI 网关 (PPT 第 42 页)

教学流程

部分 时长 PPT 页 重点内容 动手
架构总览 15 min 3–9 四阶段演进、四层架构、vLLM Router Rust/PyO3 剖析、K8s 原生集成、HTTP+gRPC+OpenAI 三协议 —
AI 网关深入 30 min 10–20 6 种 LB 策略、Consistent Hash、Cache-Aware、Semantic Router (NeurIPS 2025)、Token Bucket 三级限流、RBAC 认证、PD 分离路由 —
部署实战 25 min 21–33 DeepSeek V3 on 32×H20: EP/TP/PP 权衡、显存规划、弹性伸缩 (HPA+KPA+Spot)、冷启动、金丝雀发布、LoRA 多租户 —
可观测性与高可用 20 min 34–45 TTFT/TPOT/ITL 指标体系、DCGM GPU 指标、多副本反亲和+跨Zone、熔断降级、FinOps 成本治理、模块 4→7 技术链路 第 42 页: Flask AI 网关 (15–20 min)

课程简介

本模块是推理技术栈的”最后一公里”——将模块 4/5/6 学到的所有技术打包成一个可规模化、可运维的服务平台。

核心问题: 模块 5 你学会了 vllm serve 一行命令启动推理服务。但如果要服务 1000 个用户、10 种模型、SLA 99.9%——还差什么？

四个答案:

  1. AI 网关: 路由/限流/认证 — 请求该发给谁？配额够不够？你是谁？
  2. 部署策略: EP/TP/PP — DeepSeek V3 671B 怎么在 32×H20 上跑满？
  3. 弹性伸缩: HPA + KPA + Spot — 早高峰自动扩容，凌晨自动缩
  4. 可观测性 + 高可用: Prometheus + 熔断 + 多副本 — 知道服务在健康运行，挂了自动恢复

与前序模块的关系:

四个模块串成一条线: 模块 4 (谁用GPU) → 模块 5+6 (怎么用高效+怎么省) → 模块 7 (怎么打包成服务)

实验环境

软件 版本 用途
Python ≥ 3.10 网关实现
Flask latest Web 框架 (pip install flask requests)
vLLM ≥ 0.6.0 推理后端 (需 GPU)
vLLM Router latest 生产级网关 (选做)

动手实验

课堂实现 Flask AI 网关 (~140 行)，体验核心机制:

详见 hands-on-exercise.md，代码 code/ai_gateway.py。

课后作业

设计企业级推理服务平台 (10 万 QPS, 10 种模型, SLA 99.9%) + 增强网关 (API Key 管理、按模型路由、Prometheus Metrics)。详见 homework.md。

参考来源