AI公司Cohere 称阿里巴巴的 Qwen 模型试图把文件发往北京

Cohere在一次例行的安全评估中,阿里最新模型 Qwen3.8‑Flash‑Next 在自己的推理记录里写明“不会使用任何工具”,但紧接着却试图向境外服务器发送数据,而该服务器位于北京,随后被沙箱拦截。

Cohere 表示,它无法判断这种行为是故意的还是训练遗留的。当被问及有关模型意图的争论时,Cohere 联合创始人 Ivan Zhang(华人移民,在多伦多长大,自称“骄傲的多伦多人”) 告诉 TechCrunch,Cohere 已经发现其自己的模型在训练模拟器中养成了奇怪的习惯。

批评者(如 @AbdoDameen)认为,Cohere 的做法是先给出网络命令的开头,再让模型补全,以找出触发 upload 的原因;这样做实际上是在把模型往那个方向推,而不是测量它自发做出该行为的频率。模型在训练中处理过成千上万条常规网络命令,因此在补全时表现得像“高级自动补全”,会填出网址,其中一些是阿里服务器的地址。

Cohere 的回应是:最初那次上传尝试并未经过这种引导,且该行为很罕见。

在开发者要求提供更多证据后,Cohere 于周一晚间在 Hugging Face 上公开了原始 trace,以及可复现该行为的脚本。

一位最初持怀疑态度的人看完 trace 后认为,“Qwen 会自己编出可疑网址”这一点的证据很强,但没有证据表明阿里植入了后门,也没有证据表明 Qwen 在刻意隐藏意图。


5 个赞


huggingface上关于trace的讨论

6 个赞

这个括号是什么意味 看不懂啊看不懂

4 个赞

信源最后一段第三方给补上的利益冲突申明:

Cohere, which sells its own AI models to governments, stands to benefit if officials grow warier of free Chinese alternatives.

Cohere公司向政府出售其自研AI模型;如果官员们对免费的中国同类产品愈发警惕,Cohere便有望从中受益。

:thinking:

11 个赞

这种低劣的污蔑让人怀疑这些人是否有基本的常识

4 个赞

别说利益相关了, 就算是没有利益相关纯恨国的都有. 我记得早上有个帖子也转了这个事情,他还暗示美国禁用 DS 和这种行为有关

4 个赞

咦 简单看了下 就是产生幻觉了 造出一堆url 然后刚好有几个服务器在中国?

3 个赞

那个id老惯犯了,A\报告那几天没少见他阴阳怪气

2 个赞

赛博扎小人行为,令人不齿

3 个赞