NYU重磅发现登Nature:神经网络具有类人泛化能力

人们一直认为,AI无法像人类一样具有「系统泛化(systematic generalization)」能力,不能对没有经过训练的知识做到「举一反三」,几十年来这一直被认为是AI的最大局限之一。NYU和西班牙庞培法布拉大学的研究者提出了一种新的神经网络训练方法——MLC(Meta-Learning for Compositionality),能够大幅提高神经网络「举一反三」的能力,甚至能够超越人类!

研究人员通过一种新的神经网络训练方法——MLC在变化的任务环境中训练模型,使模型逐步获得组合词汇含义的系统性推理能力。
结果表明,MLC模型不仅可以做出符合逻辑的响应,还能捕捉人类偏差性错误的规律,在人机对比中展现出惊人的人类化思维。

论文作者同时还强调,如果孩子们在自然成长的体验中也有类似MLC这样的组合和激励机制,就可以解释人类的系统性泛化能力的来源。

针对LLM的局限,作者强调,「研究通过MCL来解锁了系统性泛化(SG)的更加强大的能力之后,也可能帮助大语言模型来克服自身固有的缺陷。」

论文:Human-like systematic generalization through a meta-learning neural network

MLC 能打败 GPT-5 吗?

  • 能!
  • 不能!
  • Need PandoraBack!
0 投票人
11 个赞

看了几篇论文也没明白如何工程化…

太难啦!

太难了,等大佬把 MLC 实现

找到这里第一个佬友,私信我,我将会和 @bilibili 联合送出一个年度大会员
23 个赞

这里的泛化是怎么界定的(我是第一个吗?/dog)

类人泛化能力,新名词,楼主自己明白吗

这里应该仅仅是指系统泛化(systematic generalization),表示这种学会新概念后举一反三、应用于其他场景的能力。

23 个赞

是的,私聊 @delph1s

这里的泛化,本质上其实就是对现有现象做出总结,然后找出相同点(归纳),建立个模型,然后通过这个模型来看待其他具有相同现象的事物

但是就意味着:

  1. 模型数据是基于现有现象做出的总结来推理出来的,如果出现了新的现象那么需要重新构建模型
  2. 现象必须是中立客观且相对正确的
  3. 太依赖模型了,现有情况都是丢给模型处理
  4. 过拟合(泛化)后需要处理

大佬原来是AI和深度学习领域高手啊。

:tieba_072: 不是这个方向的,只是看看新闻

1 个赞