GPT实现永久缓存的方法猜想 - Tibo的文字游戏炒作

今天Tibo宣佈codex登录用户永久缓存,API缓存12小时

永久缓存怎么想都不太可能

所以以下是我的脑洞猜测实际情况:

实际缓存只储存12小时,超过12小时的缓存会生成一段类似hash的校验值放到HHD并记录在用户的帐号数据中,原本真正的缓存会删除。

下次用户进行请求时先进行校验,先把codex的上下文生成一个校验值与储存在帐号数据的校验值匹配,校验成功的上下文以缓存的价格/额度进行扣费。

这也是为什么只有登录用户能用,因为从整个数据库匹配要花太多时间和成本,不太可能,但限制到帐号的数据范围就很简单。

因为把超过12小时以上的对话重新拉出来的需求不会太多,成本上也能够负担。

因此所谓永久缓存其实是Tibo把对用户让利写成技术突破的炒作

(纯脑洞猜测)

13 个赞

确实,但也算是个不错的更新,今天就不骂tibo了

说是永久,但没说费用如何,说不定是越久越贵呢

能便宜就好啦。这个才是最要紧的 :laughing:

如果费用是按照缓存命中计算,那它内部怎么实现的我都不在乎

甚至不会便宜太多 毕竟你o出缓存读写大头是压缩来着 也就每天第一次能省一点吧 :laughing:

从API key也完全可以定位到账号吧,我觉得这不是问题。

codex的模型下线期短?说是永久,两个月后模型下线就可以名正言顺的删了

技术上难,但是计价可以,让你的计价按缓存计价就行了,:grinning_face_with_smiling_eyes:

没毛病,不过我不将其视作炒作。我觉得就像一个零食叫唐僧肉一样,我不会认为这是零食厂掌握了生产唐僧肉的技术 :face_savoring_food: 。
如果真的要炒作的话,说如“一周”缓存(但是实际上只是让利)听起来更像是技术突破。不过怎么说都可以从响应速度上来打假?