李飞飞团队发表低成本AI训练研究引争议

训练模型本来就是工程向的东西肯定是以结果来论述一个事情

基于QWEN微调 :tieba_023:

并不是的

模型微调是一种基于预训练模型的定向训练方法,也没毛病

???? :cold_sweat:

人家的论文里根本没有提编码能力,数学的微调和编码也没关系,肯定又是没有看过论文的自媒体瞎吹蹭热度。 :rofl:
而且论文里添加限定词词了:

on competition math questions by up to 27% (MATH and AIME24)

很可能是自媒体不看论文瞎吹,比论文作者更懂论文 :joy:

其实蒸馏后的小模型和直接微调小模型,在参数受限的情况下能力可以无限接近。所以用小模型直接微调训练没有问题。主要的是大模型和基础模型的训练。

0到1 与 1到10 本身就不是一个概念呢

s1 团队说的很明确,是simple test-time scaling,压根没提 inference-time scaling.
test-time 就是思考时间的探索,让小模型 增加思考时间的意思。(其实就是 think block 直接替换为 “Wait”,然后比较 performance),这是一次 基于 R1的 Aha moment 的结论基础上的,微创新探索。不知道新闻纠结什么,练习左右互搏么

1 个赞

她不需要更火了