重磅更新!改变文本转视频的游戏规则—GEN-2

最近,Runway旗下知名的Text to video工具:Gen-2 迎来了重大更新,最高可生成4K分辨率的视频。Runway Research专注于人工智能技术研究。旗下的AI magic tools为用户提供了多样化的生成式Ai工具。其中包括视频生成图像、智能化编辑、3D和音频处理。而Gen2 text to video则是先进的文本转视频工具。早在2022年,Runway已经开始了Gen-1的研究,并在此基础上推出了更为强大的Gen-2。Gen-2是一个多模态模型,可以实现文本转视频、图像转视频以及用文本命令编辑视频。

目前,Gen-2已经正式向用户开放使用,进入Runway的首页,点击右上角按钮使用自己的邮箱和社交媒体账号登录。完成注册后,就会获得一个免费帐号和125点额度。如果想要去除水印或者需要输出高清视频,则需要选择一个付费计划。不过,对于大多数用户来讲,免费体验账号已经足够使用。现在点击Gen-2选项,就可以开始使用了。

首先介绍一下Gen-2的操作页面,Seed选项可以输入参考数值。例如,你可以在Gen-2的素材库中选择一个视频,点击try this即可应用该视频的地址。中间的对话框可以输入任意文本命令,右侧图像选项可以上传一张参考图像。

输入第1个命令,也就是航拍效果的热带海滩,并输入对焦方式的指令稍等片刻系统就会生成一段视频。点击播放按钮可以预览效果,从整体上看效果还是不错的。点击视频右上角download按钮,就可以把视频下载到本地。视频的分辨率为768✖448,每秒24帧。如果想要获得更高分辨率的视频,只需要升级为付费用户。

输入第2段文本命令,也就是来自未来的科幻场景,整体光影效果很出色。点击右侧image选项,上传一张图像输入一段相关的提示–Cute Girl Smile and happy(注意:文本生成视频的时候,对中文支持不是很友好,建议使用英文)。上传一张多人场景的图像输入提示词也可以获得一段对应的短视频,上传一张埃菲尔铁塔的风景图,输入:eiffel tower at night词条,生成视频的灯光和夜景和原图都有很高的相似度。

目前免费用户可以获得70秒的试用额度,使用邮箱即可注册一个账号,感兴趣的同学可以使用 Gen-2制作各种类型的视频。

如果你不清楚输入什么样的prompt,也可以参考 Gen-2提供的样本,点击即可直接应用。除了 Gen-2,Runway新推出的frame interpolation工具,能把多张图像制作成一段动态视频。首先进入midjourney,输入提示词生成一组人物图像,选择其中一张图像,点击upscale放大。然后点击variation生成一组相似的图像,把四张图像保存到本地。

返回runway,打开frame interpolation,上传五张图像。右侧设置一栏可以调整视频的持续时间以及图像过渡的间隔,点击generate按钮,大家可以看一下播放效果。点击右侧export,还可以把视频输出到本地。上传第2组图像,按照刚才的方法设置好参数,点击播放按钮,图像中的人物就会左右移动,效果非常不错。

免费用户可以输出720分辨率的视频,付费用户则可以输出高清视频。然后上传10张相似风格的人物图像,把transition time设置为15%,也可以生成幻灯片效果的视频。

发表回复