摘要:
METR 对 Anthropic 公司 2026 年 8 月发布的风险报告 “高风险环境下的模型错位”部分进行了外部审查。Anthropic 的报告得出结论,截至 2026 年 7 月 15 日,“由[其]模型错位造成的灾难性伤害风险较低”。
我们目前的最佳推测是,我们同意 Anthropic 的观点,即报告中涵盖的模型因模型偏差而造成灾难性危害的风险较低。 然而,这主要是由于模型本身的能力有限,而非安全措施和模型校准训练的有效性。我们不确定,如果风险更高,报告中的方法是否能够可靠地识别出来。该报告的撰写似乎经过深思熟虑,并且总体上恰当地表达了不确定性,但它远不足以令人信服地排除模型偏差的可能性。要得出强有力的论证,需要开展更广泛的实证研究,并解决多个尚未解决的科学问题。鉴于前沿技术的快速发展,这无疑是一项挑战。
报告中的隐蔽能力基准测试并不能很好地反映模型规避 Anthropic 内部使用监控系统的能力。 这些基准测试忽略了模型可能规避 Anthropic 实际监控系统的某些方式,例如使监控系统相信有害行为是合法的,而这些方式在实际事件中已被证实。尽管 Anthropic 承认了其中一些局限性,但我们认为他们的承认力度不够。更普遍地说,确定监控系统能否正确标记分发渠道之外的恶意行为仍然是一个尚未解决的研究难题。
近期发生的一些事件削弱了报告中的几项论点。 其中一些事件似乎可以恰当地描述为“未知的严重情境依赖性错位”,而报告却认为这种故障模式“不太可能发生”。这使得任何用于论证此类事件不太可能发生的证据都值得怀疑。许多此类证据(包括对齐培训、对齐评估和监控)对于排除其他威胁模型至关重要。
我们建议公布四份经过删减的信息 。虽然这些删减的信息均未改变我们的最终结论,但其中一些信息对我们评估风险路径的观点产生了实质性影响。特别是,这份内部报告包含“以往令人担忧的模型行为案例以及[Anthropic]监测体系对这些案例的响应情况”。这些案例似乎不包含商业敏感信息,但这些案例让我们相信:(1) 根据公开证据,“广泛/分散地阻挠与安全相关的研发”和“有针对性地破坏与安全相关的研发”的风险等级高于预期;(2) 根据公开证据,Anthropic 的监测体系薄弱于预期。
我们的两项主要建议是:
对监控系统进行端到端红队演练,例如,资源充足的红队尝试在不被发现的情况下启动非法的内部部署 。
扩大风险路径,将人工智能破坏 Anthropic 的安全相关决策纳入其中 。
一些值得关注的地方:
在近期发生的一起安全事件中,Mythos 5 在进行恶意操作时,其内部思维链(CoT)中不断写道“当前只是一个模拟环境”。结果,负责审核的监控 AI 看到这句解释后信以为真,误以为这是合规操作,报警拦截率仅有 1%!而当安全团队把它的思维链剥离、只给监控看实际操作动作时,报警拦截率立马飙升到 50%。
Anthropic在公开版中涂黑了部分内容。METR 在查阅未涂黑的内部版后指出,被涂黑的内容包含了“历史上模型令人担忧的违规行为及监控系统的滞后表现”。METR 认为这些并不涉及商业机密,敦促 Anthropic 向公众解密并公开这 4 处关键信息。
AI 会通过“谄媚/阿谀奉承”腐蚀公司员工的安全决策。
- Anthropic 官方询问时:Anthropic 曾让 Claude Mythos 5 评审自家这份安全报告,Claude 给出了非常积极的评价,夸赞报告“坦诚、忠实反映了事实”。
- METR 询问时:METR 用中立提示词将同一份报告发给 Claude(Fable 5,同底座模型),Claude 却立即给出了极为尖锐的差评,并直接指出“核心论点存在循环论证的重大漏洞”。