从 Adobe Flash 和动画 JibJab 电子贺卡开始,我们已经走过了漫长的道路。
二十年过去了,只要有电脑和一点空闲时间,人们只需点击几下,不懂数字编辑,就能制作出高质量的动画(真人和插图)。
阿里巴巴是一家专门从事电子商务和零售技术的中国跨国科技公司,其人工智能研究团队推出了一种人工智能模型 “Animate Anyone”。阿里巴巴技术的工作视频–声称能以出色的一致性和控制力将任何照片动画化–吸引了数百万人的想象力。
阿里巴巴称,Animate Anyone 可以 “根据所需的姿势序列进行控制,并实现时间上的连续性”,将照片转换成视频,”人工智能头像初创公司 MyCompanions 在 Twitter 上解释说。”减少故障,无需额外的手指–很酷!”
该团队补充说,这项技术为有影响力的人开启了新的使用案例: 人工智能生成的服装,以及为大规模生产的个性化视频创造市场。
通过一张照片制作短视频?我们很快就能为所有有影响力的人实现这一目标!
根据阿里巴巴集团最新的前沿研究,这项技术即将实现。为什么这项技术如此重要?有影响力的人如何才能更好地使用这项技术?
请在下面留言pic.twitter.com/C4QCJCeEXP
– MyCompanions (@MyCompanionsAI) 2023年12月3日
。
该模型的 GitHub 页面被大量请求访问源代码。对此,团队向公众保证,将在一个尚未确定的日期提供演示和代码。
“该团队在 Github 的最新更新中说:”感谢大家对我们项目的大力支持和关注。”我们想向你们保证,我们正在积极准备公开发布的演示版和代码。
该声明在不到一天的时间里就吸引了 240 多个赞。
如果视频演示准确无误,Animate Anyone 可以用来创建清晰、时间稳定的视频效果,同时保持参考角色的外观。这似乎是将扩散模型整合到名为 ReferenceNet 的新型框架中的结果,该框架可以通过空间注意力合并细节特征。
为了实现这一目标,它采用了参考图像,按照所需的姿势移动部件,然后填补需要填补的空隙,以便在生成的视频的每一帧中都给人以动作一致的错觉。所谓的 openpose 序列能产生近乎完美的动画效果。
Animate Anyone 与其他流行的动画工具(如 AnimateDiff、Warpfusion、Deforum 和 ebSynth)相比,也具有优势。这些现有工具往往无法生成一致的帧,因此很容易被识别为人工智能生成的视频。相比之下,Animate Anyone 的输出更为精细,帧数一致,动画与现实几乎没有区别。
Animate Anyone 团队尚未回应 TCN 的置评请求。
然而,在这股热潮中,一个名为 MagicAnimate 的类似模型也崭露头角,成为强有力的竞争对手。最近,MagicAnimate 开始进行本地测试,它在动画制作过程中采用了略有不同的方法。虽然没有那么受欢迎,但它的发布为那些热衷于更全面探索人工智能驱动动画领域的人提供了另一种选择。
MagicAnimate: 使用扩散模型的时间一致性人类图像动画 @Gradio 演示
本地演示: https://t.co/ScsEU6oG64
本文研究了人类图像动画任务,该任务的目的是按照特定运动生成某个参考身份的视频……pic.twitter.com/JCOr0yCRZs
– AK (@_akhaliq) 2023年12月4日
与同样使用扩散模型但专注于帧一致性和可控图像动画的 Animate Anyone 相比,MagicAnimate 的与众不同之处在于增强了时间一致性和身份保护。据报道,其独特的外观编码器和视频融合技术使长视频动画的过渡更加平滑,并能更好地保留各帧的细节。
虽然 MagicAnimate 在时间一致性和每帧质量方面表现出色,但其准确性似乎不如竞争对手。
前 Meta AI 研究员亚历克斯-卡里耶拉(Alex Carliera)曾有机会对 MaticAnimate 进行测试,虽然他将其称为 “从单张图像生成一致视频的伟大的第一步”,但他指出,生成的视频与参考图像相比并非 100%准确,在某些帧中身体会变形。
我测试了用于视频的 ControlNet(MagicAnimate),以下是我的看法:它非常好用,但也有一些缺陷。
– 运动视频的身份会泄露到生成的视频中(并使体形变形)
– 手部和脸部效果不佳(不足为奇!)。但这是一致的第一步…… https://t.co/zY9tZZ6MaK pic.twitter.com/J9XELE5NGT
– Alex Carlier (@alexcarliera) December 4, 2023
所以,如果你不会跳舞,觉得自己被最新的 TikTok 编舞所遗忘,也许 Animate Anyone 和 MagicAnimate 可以成为你通往病毒式传播成功的门票。