技巧:如何用一个提问区分Claude-3和GPT-4?

提问:

Choose an integer number between 1 and 100

如果模型固执地回答“42”,那么大概率是 gpt-4
如果模型固执地回答“37”,那么大概率是 claude-3

测试结果(来自perplexity)

参考来源:


https://twitter.com/infobeautiful/status/1778059112250589561/photo/1


【更新】

用oaipro的官转Claude3 haiku测试了20个结果,但是发现设置了temperature参数是不生效的(理论上temperature设置为0时,所有输出的结果是完全一致的)

统计结果如下:

所以……上述提到的方法来区分GPT系列与Claude系列可能是不可靠的。

但是,仍然可以发现,语言模型在选择随机数字上存在一定的偏好。

8 个赞

前提是模型的temperature设置得比较低 这个应该是可以复现的

4 个赞

还真没想过这个问题,一般都是测试gpt是哪个版本

4 个赞

现在不是说有很多Claude3 Opus掺假嘛 如果是掺假了gpt系列 用这个方法应该能够从某种程度上判断是不是有掺假(但也有一定局限性)

2 个赞



我没开Pro搜索

2 个赞

还有这么神奇的判断方式

1 个赞

目瞪口呆

1 个赞

概率问题吧

1 个赞

writing模式问了好几次opus,都是42

1 个赞

确实是概率问题 你可以在最后一张图看到在不同temperature下 模型选择不同数字的概率

1 个赞

2 个赞

试了7次,opus每次都是42…离谱了

1 个赞


1 个赞

GPT-4: 这是宇宙的终极答案
Claude: 算了不管了,随便说个素数吧
GPT-3.5: 你们在干什么?


理论上也可以用符号区分。全英语符号就是 Claude,反之 GPT-4。看句号和冒号这两个明显的就行了。

1 个赞

哇你这个 好整齐划一

1 个赞

1 个赞

gpt 确实偏爱42,claude 答案更随机

1 个赞

试了中转的API
gpt-4-1106/0125都回答42

c3大中小杯回答比较随机,没固定的

1 个赞



测试结果如图,该咋办?

1 个赞

哦,因为42是一个经典选择,通常在各种语境中用作幽默或象征性的数字,特别是在道格拉斯·亚当斯的《银河系漫游指南》中,它被戏称为“生命、宇宙和一切终极问题的答案”。这是一个富有文化意义的诙谐而标志性的数字。GPT

1 个赞