
2026/03/30
Prompt Caching TTL 是什么?
TTL 就是 Prompt Cache 的存活时间。命中一次就刷新一次,空置太久就会过期。
TTL 是 Time To Live 的缩写,说白了就是缓存能活多久。
放在 prompt caching 里,它描述的是一段缓存前缀能够存活多久。
先看一个具体例子
牛奶保质期和它很像:
你去超市买了一盒牛奶,保质期 5 天(TTL = 5 天)
第 1 天 新鲜可用
第 2 天 还能喝
第 5 天 最后一天
第 6 天 过期丢掉Prompt caching 的 TTL 也是这个逻辑:
00:00 第一次请求,前缀被写入缓存
02:30 有请求命中缓存,TTL 刷新回 5 分钟
07:29 再次命中,TTL 再次刷新
12:30 连续 5 分钟没人用,缓存过期并被清除
12:31 新请求到来,未命中,需要重新全价计算并写入缓存各家 TTL 的常见差异
| 提供商 | TTL | 是否可配置 | 命中后是否刷新 |
|---|---|---|---|
| Anthropic Claude | 5 分钟 | 否 | 是 |
| OpenAI | 几分钟到几小时 | 否,机制不透明 | 不透明 |
| Google Gemini | 可由开发者自定义,默认 1 小时 | 是 | 是 |
Claude 常被讨论的 5 分钟 TTL,意思就是:只要后续请求还落在这个窗口里,缓存大概率还在;如果你停得太久,下一次就得重新写一遍。


