为什么 AI 生成的语言如此难以理解?

[!ABSTRACT]
人们普遍感觉,AI 生成的文本近来变得更难理解。在本研究中,我们考察了一组已知与人类加工难度相关的心理语言学特征(例如宾语关系从句、长句法依存、低频 n 元组)。我们使用一个涵盖多领域的 AI 生成文本新语料库,发现 AI 模型比往返翻译生成的改写文本更频繁地使用这些困难特征。与人类写作相比,所有九个前沿和接近前沿的模型都更常使用无生命主语搭配有生动词,并更常使用低频 n 元组;多数模型在对话中还使用更长的依存、更多堆叠名词和更多缩减宾语关系从句。我们还展示了不同模型家族之间存在显著差异。我们提出并检验了一个关于其原因的假设:人类语言为成功交流而优化,而 AI 生成文本正日益为数学、代码和推理等其他目标而优化,在这些目标中存在一种追求信息密度而非成功交流的压力。我们通过在长度惩罚下微调一个语言模型为这一假设提供了概念验证,这导致模型偏离类人语言行为。我们的发现凸显了人类与 LLM 在语言加工需求之间的错位维度,并指向可能的补救措施。

前沿的模型们似乎为了编码和数学已经走得太远太远,Opus 甚至能说出“bug 咬人”这种虽然生动但是毫无作用的废话。

20 个赞

怎么说,Claude已经是全部模型里几乎创意写作最好的一批了呢 :lark_015:
它还差的话,那基本其他模型只能更差更加人机味了,gpt、glm、ds等等若干…
opus算舒服的了,讨论计划,学习交流还是很不错。
至于隔壁哈基米Gemini的写文也是不错的,不过一直以来是远远落后agent能力的,纯聊天可以,但干活的话还欠缺吧

1 个赞

为了吊书袋而疯掉了吗……

要 Gemini 充当 Agent 的角色有点为难模型了。

1 个赞

opus5.5在说人话上还是不够强,经常会出现我完全听不懂的莫名其妙的内部术语的情况,并且4argon的创意写作真的跟其他模型是断层的,不像一个时代的产物。但4argon感觉只有ultra才用得起,网页版pro 5h的limit我问了argon3个问题就hit了。
至于干活。。。gemini的幻觉率我是不敢让他进我的代码库的。

1 个赞

你这个 summary 也写的真是难以理解…

2 个赞

opus 也就 5.5 又纠正回来了, 4.7, 4.8, 5 那时候可是直接冒 gpt 黑话的

4 个赞

虽然但是,这个abstract可能是翻译的原因,也一股子ai味啊 :rofl:

摘要不都这么写的吗,很像人写的啊

历历在目嗷,还犹记得opus4.6白月光 :tieba_087:

前几天我试了一下太夸张了。太少用量了 :tieba_087:不过这下好了,这几天大伙的pro都掉了也不用纠结这个了 :laughing:

混合多agent可能可以尝试一下,在讨论计划的时候用Gemini,当然仅供聊天,头脑风暴,打破信息差。真干活还是切到其他模型吧

讨论计划也不可能用gemini,gemini最多承担翻译这种不需要动脑子的事情,也就是在GPT/opus返回的时候,过一遍gemini,但就这我也不敢做,Gemini的幻觉,我很怕 :joy:

2 个赞

当然只是纯聊天沟通一下,最终的话还是得回到其他模型去再深入讨论的。


还是害怕的话,那就web chat聊聊天吧 :rofl:

因为这几个 AI 训练的时候,你吃我的、我吃你的合成语料,所以语言能力变得越来越不说人话