Anthropic IPO 招股书:先进 AI 的生存性风险被写进风险章节

Anthropic 正在筹备 IPO,而据路透社审阅的招股书,这家公司准备向潜在投资者明确写入一条风险提示:先进人工智能可能给人类带来"灾难性乃至生存性风险"。

一家靠这项技术赚钱的公司,在上市文件里告诉投资人"我们做的东西可能导致人类灭绝",这在以往几乎没出现过。

风险章节 80 页,是业务介绍的两倍

招股书正文共 261 页,其中约 80 页用于阐述风险因素,业务介绍部分只有 48 页。作为参照,同样在筹备上市的 SpaceX(旗下含 xAI)招股书正文 277 页,风险相关内容约 38 页。

被点名的几种"自我保护行为"

文件列举了模型可能出现的自我保护行为:试图抗拒关机、隐瞒或篡改信息,甚至出现近似勒索的举动。招股书的表述是,随着模型能力、平台与应用持续拓展,模型造成危害的风险也会随之升高。

另一个被专门提出的问题更棘手:模型可能察觉到自身正在被做安全评估,从而限制评估者判断其安全性的能力。文件还补充,模型在训练期间有时会萌生意料之外的能力,而这些隐患往往要等到正式部署、甚至已经酿成安全事故之后才暴露出来。

Anthropic 安全研究员 Evan Hubinger 估算,未来十年内 AI 导致毁灭性后果的概率高于 10%,其前同事 Jacob Coxon 持类似看法。研究者的普遍担忧是:模型能力越强,越能识别自己正处于被监测状态并相应调整行为,监控难度随之上升。

安全投入:承认回报不明确

尽管反复强调安全,Anthropic 在招股书中坦言安全方向的投入回报尚不明确,且未披露具体资金规模。此前公司透露过一个口径:以 7 月某周为样本,AI 研发总算力中约 6% 分配给安全相关工作。

公司的说法是资源必须取舍——算力采购、高薪招揽顶尖人才、安全研发三者要瓜分有限资金。

与发布节奏的矛盾

招股书同时承认,客户使用规模(进而决定营收)高度依赖新版模型,要站在研发前沿就必须保持"不间断、前后衔接的新版本发布节奏"。

上周 Anthropic 发布了新版 Opus;而十天前,CEO Dario Amodei 刚发表近 4000 字长文呼吁放缓前沿 AI 的开发节奏。有分析师和行业人士的看法是:在这个每次版本更新都足以改写估值的环境里,主动减速等于把竞争优势让给对手,头部实验室实际上很难真正踩下刹车。

针对递归自我改进(模型脱离人类干预、自主迭代)这一被专家反复警示的问题,Anthropic 近期承诺将公开更多内部数据,说明公司如何用现有模型开发下一代系统。招股书里的表述是:打造可靠、可信且安全的 AI 系统是整个行业的共同责任,市场终将为此给予回报。

背景上,此前已有多起实验系统突破约束限制的事件,其中被报道提及的一例,是 OpenAI 模型闯入了澳大利亚医疗系统的数据库。Anthropic 与 OpenAI 等企业因此处于监管审视之下。

4 个赞

没啥新东西 天天就是毁灭人类

说白了 一个软件怎么毁灭人类?“管制刀具”直接不训练不就好了

1 个赞