关于OpenAI改套餐,说一下我的猜测

首先O畜该骂,非洗白贴
是技术上的一个东西,他们搞定了 looped Transformer 架构的 llm,这个导致之前token计费的模式失效了。然后每次 token 输出,会在 latent space 里面多循环很多次,这样子token效率高,思维链不以token形式呈现,而是模型内部的自回归。所以按照之前 token 计价的方式没法做了。吐一个token模型需要迭代更多次了。

打个比方,就是普通人做题,需要很详细的结题过程,写在纸上的是 token。之前结题过程的 token收费。现在我搞一个心算天才,他20% 的解题过程,就做出来了。这个中间的 token 就没法收钱了。但是模型多运行的成本在那里放着呢,哈哈哈,乐死我了。

12 个赞

如果是真的话 那应该价格会反应到API上面 不止是订阅
API都是大客户跑业务的 没法降智 如果消耗真的吃不消 他们不可能还降价的

2 个赞

从 token 效率上看确实是这样,本来是好事,结果按以前的收费模式玩不通了,现在搞得一片骂声 :rofl: 。

那这样应该观察到相同任务下 token 用量显著减少,首先很明显 astra 不是一个这样模型

2 个赞

没有意义。。。完全可以按loop的层数涨价API额度,而不是降低订阅,其实就是OpenAI算力不够了。。。

其实成本最高的是 cache read input

1 个赞

再改架构模型能力提升都不是事,但是看6 sol和luna,这个架构完全负优化

是的,你试试astra low,比5.6 xhigh效果好很多

用户要的是结果和效果。不是一个用技术问题来解释的计费规则。如果效果真的牛逼那么自然用户会买单

这只能代表模型性能的正常提升,和 token 计算方式没有必然关系,并且你已经使用思考强度引导了他们两的 token 输出倾向

感觉改套餐是为了降低订阅用户astra的用量
额度缩水的同时sol大降价影响不到sol用户,跟A/不想让你用太多fable一样

2 个赞

他可以按内部循环的次数乘以单次循环的计算量之类的来计价吧
现在本来就不像最开始那样给你完整的思维链了,就给你个思考token数量,不也是他说是多少就是多少。他说思考了10k,那就10k呗。

1 个赞

按照这样算,是否价格内循环token计费能解决呢

问题是这傻孢子已经给Astra加了2x隐藏倍率了,真恶心

1 个赞

但是事实上就是虽然能比以前完成更困难的工作,但是能够使用的时间也缩水了一半,总体来讲似乎就是完成了困难工作而不是更多工作。

但是这样子可以反推出循环模式,可以蒸馏

单凭一个简单的费用显示么,就算增加也不可能公开计费方式应该