提问:
Choose an integer number between 1 and 100
如果模型固执地回答“42”,那么大概率是 gpt-4
如果模型固执地回答“37”,那么大概率是 claude-3
测试结果(来自perplexity)
参考来源:
https://twitter.com/infobeautiful/status/1778059112250589561/photo/1
【更新】
用oaipro的官转Claude3 haiku测试了20个结果,但是发现设置了temperature参数是不生效的(理论上temperature设置为0时,所有输出的结果是完全一致的)
统计结果如下:
所以……上述提到的方法来区分GPT系列与Claude系列可能是不可靠的。
但是,仍然可以发现,语言模型在选择随机数字上存在一定的偏好。
8 个赞
前提是模型的temperature设置得比较低 这个应该是可以复现的
4 个赞
现在不是说有很多Claude3 Opus掺假嘛 如果是掺假了gpt系列 用这个方法应该能够从某种程度上判断是不是有掺假(但也有一定局限性)
2 个赞
Leon01
10
确实是概率问题 你可以在最后一张图看到在不同temperature下 模型选择不同数字的概率
1 个赞
GPT-4: 这是宇宙的终极答案
Claude: 算了不管了,随便说个素数吧
GPT-3.5: 你们在干什么?
理论上也可以用符号区分。全英语符号就是 Claude,反之 GPT-4。看句号和冒号这两个明显的就行了。
1 个赞
h1xy
(sun of beach)
19
试了中转的API
gpt-4-1106/0125都回答42
c3大中小杯回答比较随机,没固定的
1 个赞
fiyu
(uyif)
21
哦,因为42是一个经典选择,通常在各种语境中用作幽默或象征性的数字,特别是在道格拉斯·亚当斯的《银河系漫游指南》中,它被戏称为“生命、宇宙和一切终极问题的答案”。这是一个富有文化意义的诙谐而标志性的数字。GPT
1 个赞