time-to-first-token (TTFT)

首 token 延迟（TTFT）：在 LLM 系统中，从用户提交请求到模型开始输出第一个 token 之间的时间间隔，是衡量生成式 AI 响应感的核心指标。

English Definition

"In LLM systems, the latency between the moment a user submits a request and the moment the model begins streaming its first output token; a key metric for perceived responsiveness of generative AI."

用法说明 · 针对中文母语者

区别于传统 system response time：TTFT 只到首个 token 出现，剩余内容以流式方式继续生成。LLM 产品经理和前端工程师高频使用。

常见错误

·与端到端响应时间（total response time）混淆
·误以为 TTFT 越短越好——本论文发现适当 TTFT 反能提升感知质量

真实用例 · 2 条

"We report a controlled experiment varying time-to-firsttoken latency (2, 9, 20 seconds)"

论文Pipeline extracted — review needed·在摘要中点出本研究的自变量

"comprising an end-to-end LLM interaction system with latency control and interaction logging"

论文Pipeline extracted — review needed·在贡献部分说明实验平台可灵活控制 TTFT

由 pipeline 自动采集，待人工 review