内部人士透露 ，测试代号为 Orion 的新模型的 OpenAI 员工发现，尽管其总体性能超过了 OpenAI 现有的模型，但其改进程度并不如从 GPT-3 到 GPT-4 的进步那么大。模型改进的速度似乎正在放缓。事实上，Orion 在某些方面可能并不比之前的模型更好，比如编码。
为了应对这种情况，OpenAI 成立了一个基础团队，以研究如何在新训练数据不断减少的情况下继续改进其模型。这些新策略包括使用 AI 模型生成的合成数据对 Orion 进行训练，以及在训练后过程中对模型进行更多改进。
—— The Information (https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows)