🚨李飞飞创办的 World Labs 在今天发布了世界上第一个多模态世界模型

他们刚刚发布的 Atlas,号称是世界上第一个真正意义上的多模态世界模型
Atlas 和目前常见的视频生成模型区别是它不把视频当成一串单纯的像素点 而是当成一个真实存在的 3D 空间
也就是 Atlas 从底层设计上就是原生支持文本、图像、视频、相机位姿以及 3D 深度信息的


原文:theworldlabs/status/2094839756329041984

35 个赞

已经体验了,虽然说达不到x上那些人的效果,但是也足够了,针对清晰的照片模拟整个环境还是很牛逼的

6 个赞

好像很久之前就报道过了,可以生成3D世界操作到处跑图,这还是之前那一套吧

确实, 看了一眼blog还是3d reconstruction

有一个大胆的想法:传几张人体大战的照片,岂不是可以模拟现场围观?


试了:

玩不起 :tieba_016:

59 个赞

没想到第一个世界模型不是超大型企业推出的,李飞飞团队太猛了

2 个赞

佬是申请内测的吗?还是其他渠道体验的

长见识了,说实话我还是第一次听说这个。。

1 个赞

你可以试下,正好可以检测下它这个模型是否有道德限制

据说世界模型可以理解现实的物理规则,是真的吗

是背靠英伟达、 AMD 和英特尔的。还有其他一堆企业在投资

4 个赞

按照我的理解,世界模型是一种架构范式吧,这个理论假定了如果模型的内部架构能够并且实际上在模拟现实世界,那么它就可以在各种任务里有更好的性能。

从这个点出发的话,世界模型架构的模型能做出来本身没什么好说的,证明这玩意在同等参数下有更好的表现才比较有实际意义。

2 个赞

很大胆,期待测试结果,如果真可以了那很爽了

1 个赞

不支持,还是继续捣鼓wan/sd这些模型自己手搓想看的吧

世界模型是不是可以当成一个人 可以 编程 开车 打游戏 干活?

开源的吗?还是闭源的?感觉这个做实时自定义场景非常不错

感觉噱头成分比实际价值大,虽然效果看上去很好,但真的能用于比如具身领域的训练乃至于部署吗?

不是的,世界模型可以理解为可以交互的3D场景

1 个赞

真的很期待了,如果利用到医学上,未来可以根据真实医学影像构建更加准确的3D环境。把现实中的高风险试错,转移到虚拟世界。我记得之前她的自传也说道医学影像是一个非常重要的现实应用方向之一。

未来日本爱情动作片发展方向被你找到了