试了下腾讯混元3D大世界模型,感觉是拿伪3D在碰瓷

早上刷到个邀请,试了下腾讯混元的 3D 世界生成

以为会是 Google 那种,能理解语义、生成真 3D 模型的大活儿,结果发现完全不是那么回事

我理想中的真 3D 生成,起码得是:AI 知道场景里是什么,能独立生成一个个完整的模型。比如一个苹果,你得能 360 度转着看,没死角吧?然后再把这些玩意儿拼成一个能随便逛的 3D 空间

混元这个实现路径,给我的感觉更像是一种 2.5D 或者“深度图拉伸”技术。整个流程拆解下来是这样的:

  1. 基于一张 2D 图片(或者由文生图模型先生成一张)。

  2. 接着,模型 AI 能力的核心似乎是用在为这张 2D 图生成一张配套的深度图(Depth Map)上。

  3. 关键一步来了,它根据深度图的远近信息,把 2D 图片的像素“拉伸”成一个带高低起伏的网格模型(Mesh)。

  4. 最后,把最开始那张 2D 图片作为纹理,直接贴回到这个被拉伸的模型上。

这套流程本质上没有生成任何图片中看不到的新 3D 信息。你看到的只是一个固定视角下的浮雕,模型的背面、侧面、被遮挡的部分,信息全是缺失的。只要你稍微换个大点的角度,或者想绕到物体后面,立刻就会穿帮。

说白了,这不就是几年前就已经很成熟的单张图片转 3D技术吗?只是用 AI 包装了深度图生成这个环节。

这与真正通过神经网络(如 NeRF)学习和重建三维空间、一个一个生成真实 3D 物体的技术路线,完全是两码事。前者是拉伸emmm

不知道各位佬友怎么看?是我的期望太高,还是厂商的宣传有些过度了?

7 个赞

我在fal试了一下, 感觉还行, 可能他们家有几个类似模型吧. 你尝试的刚好是2.5D模型.

2 个赞

还是不错的,genie3别说开源了,用都用不到