看了视频感觉还蛮好看的,以下从google news翻译而来
Haiper 是一个新兴的人工智能初创公司,最近推出了自己的创新视频模型,这使它加入了 Pika Labs、Runway 和 OpenAI 的 Sora 等公司的行列,共同探索人工智能的故事讲述。
Haiper 的主要关注点在于质量,目前正在生产短短的两秒剪辑,但它有着远大的雄心,包括将来希望实现像 Sora 那样的真实感。
与 OpenAI 和 Anthropic 一样,Haiper 正在努力开发人工通用智能(AGI),并正在构建它称之为"强大的感知基础模型"。
在我生成的剪辑中,它似乎对运动有了更本土化的理解,不需要大量的提示或运动控制就能得到翅膀的扑动或舞蹈的准确表现。目前,Haiper 也是免费的。
Haiper 是什么?
Haiper 是前 Google DeepMind 和 TikTok 工程师的创新成果,他们将最尖端的机器学习技能结合在一起,旨在让创造力更加普及。
我有机会与 Haiper 的联合创始人兼首席执行官 Yishu Miao 博士进行了交谈,了解了这款产品,并观看了它的演示,包括为内容创作者提供的一种批量生成特性。
当我问他 Haiper 与日益增多的 AI 视频平台有何不同时,他告诉我他们"对视频非常专注",能够创造出令人印象深刻的生成动画,而无需大量的提示设计。
他向我解释,他们的目标是构建一个任何人都能使用的简单产品,主要关注的是获取正确的训练数据和标签,以便使提示变得更容易。
Haiper 的表现如何?
我注意到 Haiper 的一个显著特点是,其底层模型在确定视频的正确动作方面非常直观。虽然剪辑很短,我还没有尝试过如何延长剪辑,但对于四秒的视频,它非常好地捕捉到了我期望看到的内容。
Miao 博士告诉我,实际上,如果使用较短的提示,并且不使用运动控制滑块,它的表现会更好,因为 AI 模型比人类更擅长预测运动。
在他给我演示这项功能时,他制作了一段森林在黄昏时分的视频,运动设定为最大,然后他又制作了一段运动设定为 1(默认)的视频。当运动设定为最大时,它不仅在颜色上遇到困难,而且在将星星和树放在它们不应该出现的地方时也遇到了困难。
当他改变设置并将运动交给 AI 控制后,它捕捉到了天空在树木背后的运动,甚至还捕捉到了树木本身的摇曳。这让人感觉更自然。
我设计了七个视频剪辑的想法,以测试 Haiper 在相对简短的提示下对真实性和运动能力的表现。在大多数情况下,它都做得很好,但在处理动物和人物时有些挣扎。
发现动图搞过来动不了了
以下省略5张图
总的来说,它的表现还不错。它特别擅长创建原始视觉效果,比一些模型更能创造出真实的描绘。图像的质量与一些专门的 AI 图像生成器相当。
问题主要出在大物体的运动上。如果是小运动,或者在大视频中动画化一个元素,它做得很好。但是,如果物体是主导特征,它就难以进行动画化。
Haiper 是 AI 视频市场的一个令人印象深刻的新成员,但在达到 Sora 的持久性之前,还有一段路要走。现在,它在达到 Runway、StabilityAI 和 Pika Labs 的模型的运动一致性方面还有一段路要走,但它已经非常接近了。
我和 Haiper 的团队交谈过,我相信他们会很快扩展并解决这些问题。主要问题是计算能力和训练时间,因此,得益于最近的 1380 万美元融资轮,他们可能会迅速增加以满足需求。