什么是 Prefix Caching / 前缀缓存？在什么场景收益大？

参考答案

Prefix Caching 是把多个请求**共享的前缀**（如相同的 system prompt、few-shot 示例、对话历史）的 KV Cache 只计算一次并复用，避免重复 prefill。 **原理**：prefill 的计算量与输入长度成正比。若很多请求开头是同一段长文本，为每个请求重算这段 KV 是浪费。缓存这段前缀的 KV，后续命中的请求直接复用，只需为不同的后缀部分做 prefill。 **收益场景**： - API 服务中大量请求共享同一个长 system prompt。 - 多轮对话，历史部分不变。 - Agent/RAG 中固定的指令模板 + 变化的检索内容。 - 可节省 30%-60% 的首 token 延迟（TTFT）。 **实现**： - **vLLM Automatic Prefix Caching**：按块哈希，自动识别可复用的 KV 块。 - **SGLang RadixAttention**：用 radix tree（基数树）管理所有请求的前缀，自动最大化共享，支持复杂的分支复用。 **注意**：命中依赖前缀完全一致（含 token 化结果）；缓存需要淘汰策略（LRU）管理显存。