8-13 7pm后放出的deepseek pro模型的性能究竟如何?
- 8-13 7pm后官网正式更新,这个模型和8-13凌晨的“deepseek pro”有什么区别吗?
- 有无佬友有当时所谓“Deepseek灰度测试”时的提示词?我已下载好了harness,亲自验证一下能力
8-13 7pm后放出的deepseek pro模型的性能究竟如何?
可以先观望一下下,现在社区实践普遍对ds(pro, harness)印象不好,不过个人对这群人有好感,从创立公司到v4 flash 一直风评很好,我相信他们,可能目前会有这样那样的问题,但最终应该会我们带给好的产品。
我找到之前B站的灰测prompt了。
我睡前让codex+luna、dsh+dsv4 pro以及opencode+dsv4 pro分别跑一遍这个one shot prompt,明早看看效果差异。
佬友,你灰测跑完了吗,可以分享一下评测结果和模型感受吗
我第一次测的结果一坨(opencode和DS harness都很差),可以看我的帖子——我自己看了一下,思维链一堆”Let me xxxx“。
但是今天社区说DS harness有问题:deepseek pro实际上是过拟合的,仅在minimal模式下(其实就是其后训练环境)能发挥满血作用——但minimal模式没有上下文压缩和搜索,所以干不了重活
于是有人搞了一个插件(dsh-anchored-standard),让标准模式下的第一轮对话的请求头变成minimal模式的,这样deepseek pro就表现为”其后训练环境“下应有的水平。
我正在做第二次测试,但目前来看思维链已经变成了”We need to xxxx“