Kimi开放平台要内测“上下文缓存”功能了
记得以前有个gptcache的项目,都好久没更新了
2000 w 上下文还在排队中呢
1 个赞
早就应该上下文缓存了,好像gemini也提出类似的概念,每次发送都要传聊天数组,觉得有点反人类,这样每次还叠加计算输入token.
挺好的啊
From #develop:ai to #share
Kimi开放平台要内测“上下文缓存”功能了
记得以前有个gptcache的项目,都好久没更新了
2000 w 上下文还在排队中呢
早就应该上下文缓存了,好像gemini也提出类似的概念,每次发送都要传聊天数组,觉得有点反人类,这样每次还叠加计算输入token.
挺好的啊
From #develop:ai to #share