神奇的舞蹈生成工具–magic animate

最近,阿里推出了Anime anyone,引发了全网热议。网友调侃称,此类工具的推出将导致Tiktok舞蹈主播失业。用户只需选择一张参考图和预设的动作,就可以生成高度真实的短视频。Anime anyone在推出的几天内就获得了6.7K星标,却未供代码和DEMO测试页面。

由于此类工具非常受市场欢迎,12月5日,字节跳动发布了和animate anyone高度类似的项目—magic animate。从提供的几组样本视频可以看出,Magic animate同样可以实现超真实的姿势引导和特征融合,可以生成逼真的短视频。

MagicAnimate利用扩散模型和外观编码器进行时间建模和身份保护,可在推理过程中产生平滑的视频过渡。在油画和电影画面的动画生成方面,MagicAnimate也有不错的表现。以下画面由DALLE3模型生成,由于动作复杂,画面出现了一定的扭曲。在对多人舞蹈画面的模拟上,MagicAnimate也能实现不错的效果。

MagicAnimate提供了Huggingface Demo测试页面,不过由于使用人数过多,该页面已经暂时关闭。MagicAnimate可以在Google Colab运行,点击链接:GitHub – camenduru/MagicAnimate-colab运行脚本。MagicAnimate目前仅支持1:1的视频生成,因此我们可以上传裁剪后的图像,避免出现拉伸导致画面失真。

我在Google Colab为大家演示,先执行配置环境,直到出现如下界面:

选择默认的25步采用步数,视频的生成过程需要5分钟以上。如果没有准备图像素材,大家也可以使用MagicAnimate提供的样本图像和动作。从生成的动画可以看出,人物可以按照预设完成动作,面部刻画则有些失真。

即使MagicAnimate人物面部还原不是很完美,其推出仍有望进一步简化短视频的制作过程。只需一张参考图,就可以轻松合成各种动态效果。点击链接就可以试用该工具。

与此同时,PIKA也在当天演示了最新Modify Region功能,可以实现视频的局部修改。一系列强大功能的推出和预热,也意味着PIKA即将开启付费模式。除了图像转视频,VideoSwap技术也在不断进步,用户只需提供一张参考图,就可以替换原视频中物体的外观,同时保持动作的一致性,实现高质量的视频生成。

发表回复