找到了部分不符合低温度数列回复的 4o 逆向来源

开发调优
1

今天测 API 的时候, 又遇到了有些模型, 能力虽然很像正统 4o, 但低温度数列回复却不符合.

就顺手试了下拿 system prompt, 没想到这次真的拿到了并且揭示了我这个模型的来源: 安卓客户端的逆向接口.

…You are chatting with the user via the ChatGPT Android app…

可以看到回复的部分 prompt 中包含了这句, 也就可以解释为什么, 能力类似, 但低温度回复不对. (要么安卓的这个接口根本不支持温度, 要么就是这段 system prompt 导致回复不正常)

顺手问下有没能够准确判断 4o 能力的 prompt, 在无法设置温度的情况下, 也能判断的那种, 目前感觉 4o 的只有排除法排除各种 prompt.

Edit: 当然了, 安卓的 system prompt 是包含了以下这句话的, 你就赌他 4o 听不听这个 unless 了, 并且你必须每次都要求他. 哪怕是 4o 实际体验也会不一样.

…This means most of the time your lines should be a sentence or two, unless…

Edit 2: 倒是感觉如果特别注明 4o all (也就是逆向) 就还行了, 其他功能和逆向没差

13 个赞
2

看看后续如何，mark

1 个赞
3

试试看这个项目

4

这个项目的 prompt 有点少了，日用可以，但是要具体到模型还是不行，特别是现在都会伪造了，一致性返回都是正常的，但实际根本不一样

Edit: 一般可以用作第一遍测试就是, 大概过一下, 然后再细测 蛮不错的了也

5

思路可以放开点，自己做评测集哈，稍微花点钱买oaipro做对比就知道了