几天前在公司的饭局上被评判后,导致几天我一直在反思“我自己为什么过度设计,为什么如此长时间效果不如意”,反思“是否自己使用 AI 的方式出现了问题”,但是结合种种上下文来看,是 GPT 导致出现这种问题:
- 1-3月份 一直为 Claude,项目推进极快
- 4-7月 一直为 GPT 效果不佳且推翻 2 次
- 8-9月 为GLM / GPT使用,进度不佳
- 9-10月 为 Claude,推进极快,完成了一半
- 10月中 死掉了,切回 GPT,整体出现问题,项目推翻
(其中省略了细节部分,且此数据不代表没有使用问题,也不代表GPT版本问题,本次列举没有写入文件)
其中使用的套餐皆为 20x - 40x,我们的公司对 Token 报销且是能无限使用的
可能有人问了,为什么出现这么多次还在使用 GPT,其原因有公司一直为购买 GPT(因为 Claude 封号)
二是为老板一直认为不是模型能力有问题,模型有问题应该人解决问题
以及我也是这么觉得的 - 所以我不断学习 Harness,学习各种工程,学习 Matt 的软件工厂等所谓先进概念
但是我发现一个绝望的事实,他们使用的是 Claude,使用的是能够发散思维的模型
而 GPT 没有这个能力,又也得你强调且限定范围,让一个没有自我决策能力的模型自己 Loop 是相当可怕的一件事情
其中我觉得最恶心的事情是,GPT 会把锅甩到“局部问题”上。
例如它会判定“自己出现问题”,或者是某处局部功能的问题,而绝不往外延伸联想 - 因为你只针对当前这一个问题提出了疑问,那么它就只会给出解决这一个表象的回答。
在提示词编写上尤为严重,根本无法编写出一个理想的正向提示词 - 你需要给它绝对详细的要求,而不是沟通一轮又一轮的完善
从架构或者软件工程角度来说,你和它是讨论不出来东西的,因为它永远只会结合局部来看
即使你上下文说过你要设计系统或其他,你不要求的东西是绝对不会和你提及、提醒、和沟通的,在实现上,一样如此
担心其他模型可能得担心自己给的提示词不够,或者给错了导致出现偏差,而GPT要担心提示词给的不够或给的过多:
- 给的少了会为了达到目的围绕最终目的不停的转圈,确保稳定不留一点错误的完成,即使世界上不存在完全没有错误
- 给多了会为了达到你的目的不停的转圈,即使主观意识上你没有要求过那些,即是根据不够精确的提示词使它瞎猜的
flowchart LR
A["给 GPT 提示词"] --> B{"给多了还是给少了?"}
B -- "给少了" --> C["围绕字面目标转圈<br/>追求不切实际无错"]
B -- "给多了" --> D["抓不精确的点转圈<br/>造没要求过的东西"]
C & D --> E["合规性幻觉,硬塞消除歧义的废话或其他实现"]
所以我反而觉得 GPT 是幻觉最严重的模型,为了完成提示词目的给自己编造理由,即使在要求的提示词范围内做造成歧义但确实是稳定实现的事情
包括不限于添加修改测试,或者为自己写的内容消除歧义添加额外内容 - 虽然确实可以这么做,但是正常人怎么会这么做?
需要说的精确无误无任何歧义,它才能做好,那我为什么不自己写,或者给其他模型,还更放心?
至少我自己知道会出现什么情况?
现在 DeepSeek 和 Kimi 模型似乎也出现了这种情况。
如果以我自己体验下来应当是 Claude 和 Gemini 最能够使用:
- Claude 是谁都可以使用,发现问题简单纠偏
- Gemini 需要用心调整,调整完成后续出现问题得骂自己没发现这个问题,没注意到愚蠢的 Gemini 这个憨憨可能会这么做
用GPT你只会觉得它是个朽木,无法调整,无法放手,只能向工具一样不断编排
使用模型应当发挥它的幻觉能力,在幻觉的情况下实现突破自己要求的事情,这是我一直所认为的
例如 Claude 的问题,因为我要求它在我的要求内实施,或更加完美的做到我要求的东西,哪怕它遗漏了细节
所以我并不怪它缺少细节或者其他
一般都是让它自己派Subagent进行定向Review的,这还出现问题一般就是更宏大的编排或者架构上的问题了
那应该是我该解决的事情
文章观点不代表大众观点,也不代表内容没有歧义,文章没有使用GPT辅助,也没有咨询GPT