不要推理!! 这句话人类一看就懂,模型一做就错…

上题!

`什么东西 有四个字,我猜 是两个字,结果却 有三个字。`
如何解释这句话?

这句话加上了空格 大多数人应该多看几次能看出这是一个自指的问题

但对于大模型,这句话似乎非常难理解
OpenAI的4o, o1系列全军覆没,Claude的3.5-sonnet也不行……

o1-preview:

o1-mini:

展开可查看所有测试结果



以上测试结果皆来自大模型竞技场的随机竞技模型 考虑到各家都想在榜单上刷个好成绩 掺水的可能性比较低


更新:

我终于找到英文原版meme的内容了…之前一直没想起来。

原版如下:

What has 4 letters, sometimes 9 letters, but never has 5 letters?

Google上有3.4亿条结果:

(这个可以说是英语中的陈年老梗了,应该不会有模型不知道这个)

37 个赞

这道题是我突发奇想,改自一个很出名的英文meme,推测对于一些高端模型,训练语料里不会没有相关语料

而一些闭源的高端模型虽然有时能够靠近答案,但是最后却总是无法说出真正合理的解释……

2 个赞

牛逼我试了一下deepseek确实无法答对

2 个赞

啥是自指?
看来我是少数人

其实大致意思就是 “这句话自己提到了自己” ~

我知道了 空格后的文字是对空格前的解释

没错 是这样理解的

1 个赞

就是什么东西是4个字啊

1 个赞

试试用英语呢? :face_with_raised_eyebrow:

1 个赞

罗素悖论?集合自指

英语的话,印象中我去年11月就测过了,那时候gpt4-turbo都可以答对

至于英文能答对,中文却犯糊涂,应该就是模型的泛化能力不好了

1 个赞

这句话好玩啊,我也去试试

2 个赞

打上引号呢,对内容有区分是不是就可以了

1 个赞

我写了一段十八个字评论,你能看到吗?

1 个赞




没办法,英文情况下 Tokenizer比中文好太多 了

4 个赞

1 个赞

建议别打双引号 不然就破坏原句的双重含义了

1 个赞

这个问题也不是一个问题啊,只是一个陈述句。

1 个赞

是的 加句号也是为了减轻理解的难度