防御性正在让模型变成精神病人(又一次被气昏后的感想)

如果一个 Agent 没有承担风险的勇气,那么就永远不会实现 AGI。

我想论证的核心其实很简单:防御性为什么是有害的?(我甚至没有加过度一词,防御性就是有害的)

最直观的体现,是我曾经看到的一段话:

“你说得对,但我将要开始探针、快照、证据、门禁、夹具,还有哈希、冒烟、基线了。
我要先建立唯一基线,再进行可追溯备份,先进行最小改动,我先进行一轮烟测,检查 89 个门禁是否通过,上线前进行一轮全量 dry-run,上线后校验哈希值,最后进行一轮实测的验收矩阵。”

很多模型现在的行为就是如此。防御性过强最直接的恶果,就是为了不出错、为了可追溯、为了到处贴满免责声明,而占用了大量的上下文。

上下文就那么大,真正留给任务本身的注意力所剩无几,全被这套自证清白的流程给填满了。这tm就是精神病人的自我洗脑!

这一切发端于“我不靠猜”。曾经我看着Gemini模型那可笑的幻觉和自信,我还感慨,“我不靠猜”是一个美好的品格,但是凡事都有一个限度。

“我不靠猜”本质上应该是什么?它应该是态度上的不靠猜,是思维链内部的不靠猜。

思维链外露的问题已经是老生常谈了。一个人脑子里想着不靠猜,日常老老实实工作,那是勤奋的助理;要是只会通过嘴巴上一直重复稀奇古怪的哈希,那么我只会认为他是一个精神病人。

你让助手去删个文件,他脑子里认定这个文件可能有用会复原而备份,这是严谨;但是他要是对一个垃圾文件备份、检测哈希、确认5遍删除,这就叫发病。现在的模型公司却把这种发病包装成“可靠”。

归根结底,这是 AI 公司针对“AI 幻觉”做出的一种应激反应。大概是很久以前各类安全事故的发生和进入生产系统的要求吧。但每天沐浴在这样的文风里面我真的也靠“Keep4o”了。

幻觉到底是什么?人是否拥有幻觉?幻觉一定有害吗?

人当然拥有幻觉。人类的直觉、推测、不完全归纳,甚至灵感,在最初没有确凿证据的时候,本质上都可以算作某种幻觉。科学探索也是先有大胆的假设,再有小心求证。

而模型公司如果想着把所有的幻觉都掐灭了,结果无非就是把所有可能的主动性也一并掐灭。

这里也懒得演了,上面的模型公司特指OpenAI,所以你们的模型在说人话方面一辈子比不过a÷知道吗?

一个连猜都不敢猜、连承担一点点误判风险的勇气都没有的系统,无论它堆了多少个门禁和哈希,也只是唯唯诺诺的助手和工具,永远不可能抵达 AGI。

12 个赞

保守主义这一块,我就没有见过哪个进步是保守守出来的

RLHF相关的问题吧
用来写代码问题不大的,写文章可能有点不爽

写文档也会受不了,写仓库总得写文档吧,他的文档真的看不下去,每次交接都要用别的模型清洗一遍。

1 个赞

代码这玩意儿,能运行就行

而且有些时候也不看太懂,索性就这样了

但是文字这玩意儿表达出来

比代码更容易直接理解

简洁就是简洁,繁琐就是繁琐

gpt写的文档看得我就想吐

1 个赞

话说

小公司真的不维护文档

所以直接让AI弄代码很爽
所有的细节AI全知道

也可能是我手上这个项目不够大
10W行以内感觉是hold得住的,不需要文档


不过AI写的东西我真不想看
不知道在说啥
也很讨厌别人直接发AI的东西过来

又说oai防御性编程。

又说Gemini猫系ai。

人类永远不会满足。

a社的 opus 真的是理想的模型,可惜用不了(