根据《The Information》的独家爆料，GPT 6采用了一种新的技术“循环深度”。
这个技术是什么呢？目前大家可以见到的模型，包括claude fable都是依赖显式思维链（CoT），必须将每一步推理都生成为人类可读的文本token。而GPT 6在模型的连续隐藏状态中直接执行多步推理，无需生成任何中间token。
这次GPT 6更强的智能涌现也来源于此，但是今天我们的主题不是这个，而是另一个话题：仅仅预训练一个模型然后用国际旗舰模型的输出数据进行后训练然后sota的时代是不是结束了？
首先，我并不批判这种行为，因为这种“蒸馏”行为很多情况是不得不而为之，因为模型公司会因为各种各样的原因导致算力紧缺以及高质量人工标注数据的紧缺，而一个好的后训练能将模型优秀的架构设计所产生的能力释放出来，那么无疑用已经经过市场验证的国际旗舰所输出的数据再结合自身优秀的后训练算法进行sft以及rl等，就可以实现快速的模型能力追赶。
但是GPT 6的出现可能会打破这一追赶平衡，作为新的经过验证的技术范式，就和GPT 4的moe专家路由，GPT o1的CoT RL后训练等技术一样，顶级模型厂商都会尝试并追赶，因此目前模型最重要的思考过程的输出将很可能成为历史，这种从源头导致的思维链输出缺失也不能像现在这样通过特殊的技术手段劫持出完整思维链输出。
因此原先只研究模型架构，训练技术的公司如果再不调整方向，很可能会落后于未来的时代，现在的模型竞争越来越考验模型公司的技术是否水桶化，在越来越白热化的ai基础设施市场，很微小的差距就可能直接被踢出用户使用的模型清单，不具备端到端的全栈自研与前沿预训练能力，在未来的代际竞争中将被迅速甩开。
GPT 6确实是一个时代开启的标志，不一定是AGI，但无疑是大模型工业格局重组的一声信号，面对未来各个模型公司的将是各个方面能力比拼的硬碰硬。
刚才莫名其妙被举报下架了 
，之前让ai组织了一下markdown，并且拆分了一下长句，优化了一下语序，现在直接初稿放上来算了，纯小米笔记手敲的，不知道为什么会举报以后被管理认为是纯ai生成
我又删了点文青病犯了写的一些干话还有对初稿一些口语化内容重写的修饰，这次总不能是ai生成的吧 
在撰写本文时我还没有看到a/的这篇推，可以看到前沿实验室们对于思维链蒸馏还是挺多的，不过很多佬友的信息比我灵通的多，很多新的蒸馏手段可能已经在应用了，只是没有被披露，但是根据最新的公开信息以及a/的相关披露，我个人认为思维链还是在蒸馏工作中占据重要位置，这也是我写这篇文章的立意，也欢迎各位讨论，少点阴阳怪气，多些真诚的交流
（
这几个frontier lab大价钱买的都是长任务的原始数据，买回来还要自己再洗再把关一遍（让 asta computer use做一个长任务，四舍五入不就等于买来了原始训练数据了