前几天deepseek开源了自己的推理框架,单集群吞吐量非常惊人,最近用Gemini 4 Argon也发现,Pichai嘴上说着算力不足,结果AI Studio和反重力里还是能跑到100+的TPS,Claude Opus也是,智力高的同时TPS也有差不多100。反而GPT这边就算内部要研究数学,给C端和B端的算力资源也不可能很低,但吞吐量却低得多。然后我去翻了 kernel bench(让模型优化GPU算子性能的benchmark) 的榜单,想看看这是否是AI滚雪球的一部分。
看上去A/、谷歌和DS都比较有能力反哺Infra,而GPT这方面的能力反而弱一些,这可能也是GPT砍额度、降智、速度慢的原因之一。
感觉AI公司是否应该多注重加强这方面的能力呢?这样AI公司自己能降本增效,我们普通用户也能用更便宜的价格享受到智力更高吐字更快的模型。佬友们觉得呢?
