大模型推理服务优化:从算子到请求调度
把单卡吞吐提升 2.3 倍的过程中,真正有效的不是某个神奇算子,而是对瓶颈的准确判断。本文拆解 KV Cache、连续批处理、投机解码与请求调度在真实业务里的收益边界。
共 2 篇文章
把单卡吞吐提升 2.3 倍的过程中,真正有效的不是某个神奇算子,而是对瓶颈的准确判断。本文拆解 KV Cache、连续批处理、投机解码与请求调度在真实业务里的收益边界。
一个跨订单、库存、优惠、支付四服务的下单链路,在 2PC、TCC、Saga 与本地消息表之间如何取舍。本文给出选型矩阵、状态机设计与对账兜底的完整方案。