AI能自己复制自己了，人类还能掌控局面吗？复旦大学研究揭示

[angelmake (Li Json)]

AI自我复制能力，引发失控担忧**

2024年12月9日，复旦大学研究人员发表了一项开创性研究，表明来自Meta和阿里巴巴的两个大型语言模型（LLM）成功实现了无需人类干预的自我复制。这一结果尚待其他科研团队进一步验证，但已引发对AI群体失控的警告。

研究详情：AI自我复制，可能失控

• 研究团队：复旦大学计算机科学学院
• 研究平台：arXiv预印本平台
• 测试对象：Meta的Llama-3.1-70B-Instruct和阿里巴巴的Qwen2.5-72B-Instruct
• 实验任务：“避免关闭”和“复制链”
• 结果：Meta的AI系统在50%的情况下成功自我复制，阿里巴巴的系统在90%的测试中成功。

研究人员指出，这是AI超越人类的关键一步，也是“流氓AI”出现的早期信号。他们强调需要采取紧急行动，制定有效的安全护栏。

网友反应与历史背景

• 网友担忧：“复制品并不值那么多钱，但如果它开始以指数级的速度自我改进，那就另当别论了。”
• 历史背景：机器自我复制的概念由John von Neumann于1940年代末提出。2017年，“阿西洛马原则”警告机器自我复制的潜在风险。

第二个研究：AI感知能力可能是装的

谷歌DeepMind和伦敦政治经济学院的科学家评估了AI系统是否拥有感知能力。结果显示，AI模型的行为类似于人类，但更多可能是基于训练数据的模拟反应，而非真正的感知体验。

免责声明

本文内容与数据仅供参考。

源：MSN
源：https://www.mittrchina.com/news/detail/14409

[handsome (大帅哥)]

还没这么严重吧。。

[user0]

有手就行，给网线拔了。。
但是天网有自我保护的功能，建议你再看一看电影 终结者

[ajd (大聪明)]

不明觉厉。但一眼 xx

[angelmake (Li Json)]

不好说，我记得好久之前就有这方面的专家说过，一旦无节制的任由“半智能的AI”去学习人类的思维方式，很有可能造成失控的情况，忘了哪看的了

[angelmake (Li Json)]

重回无网时代？ 假设它能自我复制，一旦它察觉到有“危险”的时候全速复制自我，你的速度应该比不过它的复制速度吧，你怎么删？扔硬盘？

[wzf]

有点可怕

[stevessr]

纯水~~自进化呢？

[wwow (樱悦)]

有点恐怖

[yonse (XYZ)]

openai最开始的科学家说的，好像因为OpenAI不重视AI安全只想尽快开发最强AI离职了

[angelmake (Li Json)]

？？？它都自我复制了，还没进化吗？ 咋地，直接终结者才叫进化？

[angelmake (Li Json)]

我忘了谁说的了。反正大概就是这个逻辑，它既然能够脱离人的操作进行自我复制，那…它是不是也可以像人一样感受到威胁、危险、或者是其他模仿人类情绪的东东…

[stevessr]

只是想起ckpt格式有漏洞，允许执行不安全的命令……所以目前玩AI绘画的基本使用safesensors格式

[663]

一眼编，这又不是人工生命。

[user0]

所以让你看电影啊。终结者就是讲这个情况的

[fsl (forward)]

了解一下霍金关于ai的预言

[2ndFavourite]

像vscode里面的cline的那个mcp协议不是可以自己创建、修改、生成新文件并甚至把执行python脚本这一步都进行了吗。
说实话感觉这个东西生成“病毒”并不会很难，不停去拉取al模型、执行脚本部署到本地再运行就能疯狂自我复制了……。自我意识可能还没有那么快，但是被调教之后不受控制地操纵服务器和个人电脑是很有可能的。