对于大模型训练集来源的处女情结有点重呢

一样米养百样人,技术人不是机器,也是有国界的人,他不可能只是单纯的只懂技术…

很显然,L站不是,或者说不只是技术社区,你可以说这里是技术含量高的社区,但你不能强迫这里所有人都要按照你的对技术社区的要求进行讨论

所以只是呼吁
多一个人听进去也不错

l站的键政人一直很多
只是平时潜伏着,等一个机会出来团建
正巧这个话题就是键政的好机会,可不就一窝蜂涌出来搅浑水了
好好的一个正经技术,他们为了拿来攻击老钟,硬是曲解成这样

l站就是一个在境外的简中社区,以前这些人不出声是因为有社区准则在约束
并不是说这里就不存在简中那些毒瘤
这里之前不让他们自由键政,早就让他们积攒了太多不满

6 个赞

其实蒸馏这个根本都不是这个意思。
天天嗷嗷叫蒸馏的有几个正常人啊。
模型权重都开源的,还用得着像某些项目一样用输出找证据?
A/那么多顶尖科学家连个实锤找不到?
还有人在那问模型你是谁呢。 就挺反智的。

2 个赞

佬你这就是经典的用枪指着好人,
喷子可以随便喷,但维护的喷就需要高的道德标准要求。
就挺离谱的

1.蒸馏不违法
2.蒸馏可能会违反厂商的使用协议导致封号
3.蒸馏行为广泛且长期存在

其实就这三点
鉴证的人你就算左脚先迈进大门他也能鉴证

2 个赞

一帮在简中混到去x上高强度发帖的那帮人,你觉得是什么正常人?

至于海外简中圈子,基本也在ins,谁去x上发东西?

物以类聚人以群分

1 个赞

蒸馏本来就是一种技术,这个存在即有意义。至于讨论是否支持蒸馏已经不是在技术领域了,而是个人意识方面了。技术其实没有好坏,它只是为了解决某个问题诞生的。至于如何限制是企业,人,国家等层面的。使用技术的是人才会有不同意见。

1 个赞

佬,是人就会有群体,就会有自己的偏好。纯国内的话题都有咸豆腐脑和甜豆腐脑,你吃甜的你就是南方人,你吃咸的就是北方人,也是扣帽子起手。这南方北方不也和立场挺像吗。当然,键政又是另外一回事了,而且x上就没什么正常人

其实这种就是没有建立起一个清晰认知。把蒸馏当成了某种另类的吸血、寄生、套壳或者洗稿,一种不劳而获的便车。这种错误的认知往往带来了荒谬的结论,你在其他社区或者论坛上看见的情绪化发言基本都来自于此。

​蒸馏是 AI 平民化、实用化的必经过程,现代主流 AI 大模型的迭代与落地,几乎没有哪个能完全脱离蒸馏与合成数据的过程。蒸馏其本质是人类站在巨人的肩膀上做工程优化而不是作弊。人类编写书籍也是一种对大自然和前人经验的“蒸馏”。甚至就连老师教学生,学生学习的过程也包含着蒸馏的过程。蒸馏这件事本身并没有任何问题。
​
误以为蒸馏就是百分百的照抄,忽略了后续微调、强化学习和算法创新的真正技术价值,这是既不懂技术也不尊重别人劳动成果,被对手掌握了话语权,掉进了对面的舆论护城河中。当对面发现用算力封锁也挡不住后来者的追赶时,道德的舆论高地就是另一处最好的战场——把“蒸馏”污名化,吹嘘只有那些砸巨资从零开始训练的“纯血模型”才是高贵的。把这种观念灌输给大众,尤其是一些热衷键政、动不动就反思“民族劣根性”的群体,那是再合适不过了。很多不明就里的人还为此摇旗呐喊,其实是被人当枪使了都不知道,这本质上就是一场商业垄断保卫战和政治舆论战。

​一旦把这种坏想法刻进脑子里,就等同于把蒸馏当成了一个党同伐异的标签,让讨论陷入一场查“血统”的骂战当中,在这种认知下自然不可能产生正常讨论。

​部分闭源模型,为了保持商业领先地位及自身市场和利润的需求,会在用户协议里明确禁止用输出数据来训练竞争模型。但这并不等同于完全否定“蒸馏”,每个大厂内部都有参数更庞大的基座模型或慢思考模型。

在模型公司内部,他们每天都在用更大的模型去蒸馏出更小的模型,或者用上一代模型合成数据来训练下一代,还有一种叫做教师模型的原始模型。如果蒸馏技术本身有罪,那他们自己就该禁止使用这种技术;不过市面上绝大多数主力商用模型都包含内部大模型的蒸馏与合成数据,可见其血统并没有宣传的那么“纯洁高贵”。只禁止别人蒸馏我,而我自己内部却在大力蒸馏,足见蒸馏这项技术本身没有任何问题。

用户协议其实只是一种保护利润的商业合规手段,属于数据来源的商业纠纷,这是目前全体 AI 公司都在面临的问题,根本不存在“只有中国模型公司才有这个问题”的说法。
​OpenAI、Claude、Google、字节要是真按最严格的商业与数据合规性去查,那所有人都不干净,谁也指责不了谁。初始用户的数据允许你使用了?互联网的其他数据允许你使用了?这根本说不清楚。
最后,这个世界,既有开路的,也有铺路的,二者都缺一不可,你不能拿开路的标准去要求所有模型。

4 个赞

什么叫最容易建政? 你学生宿舍不玩手机聊天到最后也是建政 计算机相关接触外网最多也是在看乐子 国外水深火热等着我们解放

这个话题很敏感。我也一直觉得,逆向也好,山寨也好,包括现在的蒸馏也好,做了就大大方方承认,其实实事求是一点的人 或者说有点支持自己人立场的人都不会觉得什么,但是现在太魔怔了,动不动就滑坡开始扣帽子 阴阳怪气。 其实回看这几年,这个现象 不是这一行业独有的现象。 说白了还是赢学导致实事求是的精神越开越淡了。

小米之前就阴阳友商的蒸馏行为

说自己不蒸馏

结果,自己拉了一坨大的

现在,小米又开始老老实实的去补课去研究蒸馏技术了

本质就是,最新的旗舰级的基座模型,离不开大量的优质的合成数据。。。。至于这个数据怎么来的,不管是自己的模型合成的,还是用别人家模型合成的,都是必须要有的

谁不重视合成数据,谁就会死的很难看

能讲明白蒸馏的人有几个?