大模型推理服务优化:从算子到请求调度

推理优化的第一步不是选技术,是搞清楚现在卡在哪。我们服务的业务是内嵌在客服系统里的对话式助手,请求特征非常不均匀:70% 的请求输出不到 80 token,5% 的请求输出超过 1500 token,而后者消耗了 43% 的 GPU 时间。

优化前后用了同一个压测集、同一批权重、同一台机器,数据可直接对比。

一、先看两个指标

所有优化最终都作用在两个数上:

  • TTFT(Time To First Token):首字延迟,用户感知最强的指标;
  • TPOT(Time Per Output Token):每 token 生成时间,决定输出是否”流畅”。

吞吐量可以写成 总 token 数 / (TTFT + TPOT × 输出长度)。想提升吞吐,要么降 TTFT,要么降 TPOT,要么让更多请求共享同一段计算。

二、KV Cache:显存是硬约束

自回归解码里,每个请求都要缓存历史 token 的 Key/Value。以 7B 模型为例,单条 2K 上下文大约占用 1GB 显存——这意味着 24GB 的卡最多并发二十来个请求,还没算权重。

我们的第一版实现照搬了「预分配最大长度」的朴素做法,结果显存利用率只有 34%,大量空间浪费在永远不会被填充的预留区。

换成 PagedAttention 之后,KV Cache 按固定大小的 block 管理,配合 block table 做逻辑寻址:

# 简化示意:按 block 分配,而非按最大长度预分配
block_size = 16
blocks_needed = ceil(seq_len / block_size)
kv_blocks = allocator.alloc(blocks_needed)  # 按需增长

显存利用率升到 78%,同等硬件下并发数从 22 提到 61,TTFT 的 P99 从 1.9s 降到 0.7s。

三、连续批处理:把等待时间填满

静态批处理的浪费在于「等最慢的那个」。一批请求里只要有一条要生成 1500 token,整批都得等它。

连续批处理(Continuous Batching)在每次解码步重新组批:已完成的请求立刻退出,新到达的请求立刻插入。

这一项带来的提升最大:吞吐从 480 tok/s 提升到 1120 tok/s,几乎翻倍,且没有任何精度损失。代价是调度器复杂度上升,需要处理 prefill 与 decode 混批时的算力倾斜。

我们的做法是prefill 优先但限流:给 prefill 单独设一个 token 预算,避免长 prompt 把 decode 全部饿死。

四、投机解码:收益取决于业务

投机解码用小模型先猜 k 个 token,再让大模型一次校验。理论加速比取决于「猜中率」,而猜中率高度依赖文本的可预测性。

在我们的业务里,这个技术的表现是分化的:

场景 平均接受长度 加速比
格式化输出(工单摘要、JSON) 3.8 1.7×
自由对话 1.6 1.1×
代码生成 2.9 1.4×

结论很明确:只在结构化输出场景启用。全局开启反而会让自由对话的 TPOT 变差,因为校验失败要回退重算。

五、请求调度:业务层的优化常被低估

技术手段之外,收益最大的其实是调度策略。

长短分离。 把预估输出超过 400 token 的请求路由到独立队列,用更大的批处理窗口,容忍更高 TTFT。短请求走低延迟队列。这一条让短请求的 P99 TTFT 从 1.4s 降到 0.5s,而长请求的吞吐还提升了 12%。

前缀缓存。 客服场景的系统提示长度稳定在 1200 token 左右,命中率极高。开启前缀缓存后,这部分 prefill 完全省掉,TTFT 再降 30%。

降级预案。 当队列深度超过阈值时,自动把部分请求切到小模型,并在响应里标注。用户对”稍慢但正确”的容忍度,远高于”一直转圈”。

六、最终数据

指标 优化前 优化后
单卡吞吐 480 tok/s 1120 tok/s
TTFT P50 / P99 0.9s / 3.2s 0.28s / 0.7s
TPOT P50 42ms 31ms
单请求平均成本 1.00 0.42

七、几点提醒

  • 先做 profiling。 我们的第一版优化花了两周在算子上,收益 6%;后来发现 60% 的时间耗在调度空转上。
  • 压测集要贴近真实分布。 用均匀长度的压测集,连续批处理的收益会被严重高估。
  • 每一项都要能单独关闭。 线上出问题时,你需要快速定位是哪个优化导致的。

算子的红利正在变小,系统层的空间还很大。下一步我们打算试 chunked prefill 与 PD 分离部署,有结论再写。