OpenAI API已支持提示词缓存

官方公告
省流:

提示长度超过 1,024 个 token才可用,命中缓存后价格为原来的一半

目前可用的模型只有

gpt-4o-2024-08-06 gpt-4o-mini-2024-07-18 o1-preview o1-mini
5 Likes

对比国产厂商Deepseek的缓存方案
可以说是爆杀OpenAI了,价格只有十分之一,缓存系统也是以 64 tokens 为一个存储单元

2 Likes

感觉还是比较有诚意的,至少不像Gemini那样还需要使用额外的请求端点,启用参数和API开销。基本上无感使用。

还可以了,至少做出进步了

只要自动缓存,无感使用就行