感觉opus5.5在很多领域已经达到了专家水平,想问问各位佬友在平时使用的时候,opus5.5有犯傻的情况出现吗

在高强度使用了opus5.5几周后,我越来越感觉,opus5.5已经达到了专家水准,至少在我擅长的领域,已经能跟我进行讨论,或者能给我很多启发,而且能给出真正可用的思路。但是还是比较担心大模型的幻觉,想问问各位佬友平时使用的时候,opus5.5有没有犯傻的情况出现。

大型项目的话,比如我们现在在做的一个比较复杂的推演,长上下文注意力会丢(但是大家都这样,也许Gemini会好一点?)。我现在是CODEX和OPUS相互检查。

新版本Gemini注意力更短,论长度不如另两家了,底层模型结构有大改

Gemini以前一直滑动注意力,注意力涣散的很,还是3.7~3.8才修好的这个毛病

佬门上下文压缩设置的多少,目前我设置的400k,不知道合适不

不要相信她的一面之词,opus 很擅长说服用户,让 gpt 来审她

AI不犯傻的话那能叫AI吗?那叫AGI :laughing:

佬友可以说说具体场景吗,因为我现在使用的过程中,其实感觉给出结论或者方向是合理得。包括找专业的教授也看过,专业领域的理解基本偏差不大

有 压缩后丢的细节还是挺多的 改论文感觉比我还不专业 但是做实验还行

确实,但是相比之前的模型,感觉已经有很大进步了

如果让gpt来审 感觉没人能说服gpt了

佬友这个其实很有意思,是复杂推演的原因,还是上下文窗口的原因,还是复杂推演导致了上下文塞满,从而出现了注意力丢失

是的,我们做实验发现也是这样的,压缩后会丢失关键信息

有时候必须让他扫一下 不然前面跑的一些有价值 但是非关键的结论和数据都丢了 浪费了

上下文虽然会自动压缩,但是我们在做分析的时候 AI 尤其是GPT会每个因素都思考得太仔细了,而我们其实在大的框架上是有节点的,比如模型A能跑,那就下一步分析A+B就好了,但是由于物理场比较复杂,这里每个问题会来回讨论很多次,这样是上下文导致的注意力丢掉,但是目前来说只是时不时的会有,不是常态。而项目推进的时候,有时候每推进2-3步大概就要让他在读一遍之前的框架和总结性文件,不然他又转牛角尖了,这里在提示词上面需要考虑一下,写入spec的会好一点。Opus的情况要好一点,不过我只是pro不敢大力用。

当你的提示词足够长,它有时候会不听你的指令,自作主张,
主要的犯蠢点就在这个自作主张上

谢谢佬友的分享,我来研究一下

很多,对于目标明确的复杂需求,只是差一下精细化的时候,我发现opus5.5很喜欢自作聪明。

感谢佬友分享,我来研究一下

最近遇到的吧,也不算复杂,就是业务流程变动了一些,把旧的流程接到新的流程里,接完之后,我测了一下后提了一下意见,中间有句旧数据没迁移过去,它甚至没给我讨论的余地,直接花了十来分钟搓了一套旧数据转移接口,还在页面搞了套按钮。我这没上线的平台,全是测试数据,然后我就让它回退了。