mini-SWE harness 拥有碾压(代差)级别的优势 74.2(mini-SWE) vs 65.6(Codex)

根据

deepseek 官方的评测

74.2 > 65.5

基本上有代差了

有用过的佬进来科普下经验吗?

4 个赞

随着模型智力的提高, skill, prompt,越来越对模型造成负担而不是帮助.

1 个赞

为啥?它和 pi 有啥区别,都是最简版的话不是应该没啥区别么,只有基础 system prompt 和工具 schema 不一样。不理解怎么会有这种差别

能否认为,,,这是过拟合了mini-swe框架了。。