最近捣鼓模型部署,绕来绕去发现服务侧逃不开两个数字:TTFT 和 TPOT。一开始我也分不太清,这里顺手梳理一下,做个备忘。

先分清训练和推理,这俩是两码事。训练像是在造发动机,花上几个月、烧掉一堆卡,目的是让模型涨能力;推理则是踩油门,用户问一句、模型回一句,拼的是”够不够快、能同时接多少客”。在线服务要盯的是后者。

用户发一条请求,时间轴大致是这样:

1
2
3
点击发送 ────── 第一个 token ────── 第二个 token ────── ... ────── 最后一个 token
└──────────────┘ └───────────────────────────────────────────────┘
TTFT TPOT × 输出 token 数

从请求发出到第一个 token 冒出来,这段叫 TTFT;之后平均每出一个 token 花的时间,叫 TPOT。用户用起来手感怎么样,基本就这两个数说了算。

TTFT 管的是”按下回车后多久有反应”。0.5 秒开始回话,跟干等 5 秒,完全是两种体验,对话场景尤其敏感。它主要耗在 Prefill 阶段:请求进来不一定立刻被处理,可能先排队;排到了,模型要把整段 prompt 一次性并行算完,顺便生成后面解码要用的 KV Cache。所以 prompt 越长、卡越忙,TTFT 就越难看。

TPOT 管的是吐字速度。第一个字出来只是开了个头,后面是一秒几十字还是几秒一个字,长文本生成、流式输出里差别很大。它主要耗在 Decode 阶段:生成是自回归的,一次只吐一个 token,吐完再接回输入算下一个,没法像 prefill 那样并行;而且每生成一个 token 都要把整份模型权重过一遍,所以 decode 吃的是显存带宽,不是算力。模型越大、带宽越紧,吐字就越慢。

顺带把这两个阶段说清楚:

  • Prefill:把用户的 prompt 一次性并行读进去、算完,产出 KV Cache。它是计算密集型的,长 prompt 最吃算力。
  • Decode:自回归地逐个 token 往外蹦,每步都要翻一遍全部权重。它是访存密集型的,卡在显存带宽上。

所以 Prefill 管开头,对应 TTFT;Decode 管后续,对应 TPOT。

再往上拔一层,这些指标无非就两大类:吞吐和延迟。吞吐是单位时间处理的 token 数,关乎成本和机器利用率;延迟就是 TTFT、TPOT 这些东西,关乎体验。这俩永远在打架:想吞吐高就多塞请求,排队一久延迟就上去了;想延迟低就少塞点,机器又闲在那浪费。做服务侧的活儿,基本就是在两者之间找平衡。

拿个场景串一遍。你发了一段 2000 字的 prompt:头几秒模型没动静,是在 prefill,等的是 TTFT;接着一个字一个字往外蹦,间隔就是 TPOT;要是同时有 1000 人在线,每张卡要服务更多请求,排队变长,TTFT 也跟着涨。你感受到的”卡”,拆开无非这三件事。

围绕这两个指标,业界折腾出了不少名词,先混个脸熟:

  • Continuous Batching:动态拼请求,提高吞吐。
  • PagedAttention / vLLM:像操作系统分页一样管 KV Cache,省显存。
  • 投机解码:拿小模型先猜几个 token,大模型再验,降低 TPOT。
  • 量化:把权重压小,省显存省带宽,间接改善 TPOT 和吞吐。

不过这些优化也不是白捡的。聊吞吐和延迟的时候,有个维度挺容易漏掉,就是 token 的质量。

拿量化来说,它把权重从 16 位浮点压到 8 位甚至 4 位整数,模型变小了、跑得快了、也省显存了,但权重信息本身是有损的。压得越狠,模型”脑子”里的数值就越糊,同一个模型、同一个 prompt,量化版给出的回答可能就是差点意思——逻辑不严密、数学算错、代码有 bug、长文前后矛盾。这个现象现在有个挺传神的说法,叫”降智”。

所以前面说的”延迟 vs 吞吐”这个天平,其实底下还压着第三块砝码:质量。三者没法全都要,量化省下来的速度,往往是从质量里抠出来的。怎么取舍看业务:客服闲聊、简单问答对质量宽容,可以压得激进一点;写代码、做数学、金融分析这种容错低的活,就得悠着点,宁可要稍大的模型或者稍高的精度。

落地的时候一般会先拿一组题测测量化后掉了多少分,在”还能接受”的范围内,再去榨速度和成本。

兜兜转转还是回到那句话:大模型 Infra 是在延迟、吞吐、质量三者之间做权衡,落地时最常盯、也最容易量化的两个数,就是 TTFT 和 TPOT。token 质量这杆秤,得靠评测一点点兜住。