关于Kimi将要启用“上下文缓存”功能,佬们怎么看?

Kimi开放平台要内测“上下文缓存”功能了

记得以前有个gptcache的项目,都好久没更新了

2000 w 上下文还在排队中呢 :rage:

1 个赞

早就应该上下文缓存了,好像gemini也提出类似的概念,每次发送都要传聊天数组,觉得有点反人类,这样每次还叠加计算输入token.

挺好的啊

From #develop:ai to #share