我个人认为,Claude 3 Opus是全球独一无二能够与GPT-4媲美的模型。甚至可以说,其全面优于GPT-4,尽管优势并不遥远。
对于未来全球大模型的竞争格局,我预测的排名如下:
OpenAI > Anthropic > Mistral > Google/Meta/…
看起来,这些创业公司在团队组织效率上的优势完全压过了大公司。例如Google,尽管拥有最多的人才、最丰富的GPU/TPU资源、最好的数据源(全球质量最高、规模最大的搜索网页/图片数据以及全球最大规模的视频源YouTube),并发表了众多有价值的论文(如Transformers、MoE GLaM等),却无法创造出领先的大模型产品,这是何故呢?
我个人猜测的一个可能原因是:LLM的决定性因素其实是训练数据。尽管Google拥有最好的数据源,但数据清洗是一项繁重且琐碎的工作,完全属于工程问题,需要处理各种不标准的情况,基本情况一大堆,即使处理好了也无法发表论文,增加个人的学术影响力。因此,Google众多聪明的研究员们并不愿意进行认真的数据清洗工作。
当我听说Gemini Ultra是一个万亿级别的Dense model时,我被震惊到了。Google用了比GPT-4多数倍的训练成本,却只搞出来一个只能用来刷榜的“产品”,这完全是资源浪费。
我不解的是,为什么Google在Gemini 1.5 Pro的时候才开始做MoE模型。
回到Claude 3,考虑到GPT-4其实在2022年9月就训练完毕,但是直到2023年3月才发布。所以Claude 3是全球首个将与OpenAI的差距缩小到1年时差以内的团队。这也预示着GPT-4.5可能会在近期发布。
另外,我想抱怨一下,Claude 3在国内的讨论度真的很低,远低于Google Gemini的两次发布。