看到这个的时候,我开始怀疑我是不是得换掉cc了

这么高的缓存命中,真不错。
不过CC不是有个1小时还是5分钟不聊cache就算新input token的机制?用cc + deepseek的话有这个限制吗?

1 个赞

不是,deepseek的缓存估计是由服务器管理的
那个5min缓存机制是anthoropic某次强制推送的结果

1 个赞

应该就是ds的默认缓存时间比较长? 你离开一会儿 继续他还是走的缓存

几个小时到几天!

2 个赞

啊嘞 现在的话不至于吧 我在win上最开始用的时候遇到过 把ps的默认编码改成UTF-8就没遇到过了
mac上一开始就没遇到过 :distorted_face:

2 个赞

之前就有vram-ram-ssd-hdd层级的kvcache论文……所以gc当然得看算法啦

ds的缓存效率这么高的吗 :tieba_004:
那佬体感觉得怎么样 :bili_007:

1 个赞

感觉是cc有问题,故意浪费token,鱼鱼的项目功能也还没做完说是
似乎deepseek V4 没有那么爱写测试(cc下)

根据 ds 的文档信息 他们家的缓存是几小时到几天 不是 cc 这种 5 分钟的弟弟

啊?几个小时到几天?难道他们缓存已经不用显存来存了吗?怪不得说DS是价格杀手,难道找到了堪比HBM显存还好的方案?

A\真是躺着不思进取还天天封C端号,也就B端好说话,干脆就别卖Pro Max什么的了,都让AWS、Vertex什么的来卖,只卖API算了

1 个赞

哎,懒得折腾了,最近开始对ai也没什么兴致了 :dotted_line_face:不研究了,反正现阶段不可能有什么重大突破

1 个赞

是指他缓存过期时间长
不像A\只有5min​:joy: 一不小心就过期了 而且写缓额外收费

ds的官方文档里写了 用的硬盘存储
这么大命中率应该也是因为这个原因了 毕竟claude 不管5m还是1h 你中间出去去吃个饭 再问就全丢了:joy:

2 个赞