AI语音合成工具-Lalamu Studio

近期,Lalamu Studio开启了beta版本测试:Lalamu Studio。该工具整合了TTS和lip sync功能,可以让任意视频中的人物开口说话,并精确模拟口型。

例如,选择一段视频素材,添加由Ai合成的语音,即可完成实时播报和唇形同步。点击上面链接,访问Lalamu Studio。左侧可以合成语音,完成唇形同步。

选择一段动画,在左侧对画框中添加视频脚本,在下方选择一个播音员,点击生成音频,完成语音合成后,点击下方的Generation,开始合成视频。为了节省算力,Lalamu Studio并未提供高清视频输出。不过,从生成的动画可以看出,人物的口型可和语音完全相符。

然后,选择一段真人动画,测试一下口型模拟的效果。Lalamu Studio还处于测试期,正式上市后,将会支持高清输出。Lalamu Studio还将推出多人物语音合成和编辑功能,让视频剪辑变得更有趣。

简单的了解了Lalamu Studio,我就为大家演示如何使用来Lalamu Studio为动画合成语音。

首先,使用任意工具,生成一张TINKERBELL的图像。登录Pikalabs:Pika

输入 a pirate of the Caribbean提示,生成一段几秒钟的短视频,并保存到本地。返回Lalamu Studio,上传制作好的短视频。下一步,登录TTS语音合成网站Elevenlabs:Text to Speech & AI Voice Generator – ElevenLabs,点击voice library选项,从社区中选择一个合适的配音员。

点击下方的add to voicelab, 把播音员添加到自己的语音库。然后,输入视频脚本,完成语音合成:

“Hi, I‘m Jack Sparrow, a pirate of the Caribbean.”

上传语音文件到Lalamu,点击lipsync选项,实现模拟口型。

最后,测试一下lalamu自带的视频素材,通过多组测试,Lalamu可以准确模拟大部分卡通人物的口型,大家可以自行尝试。然后,测试一下真实人像的模拟效果。

Lalamu可用于制作有趣的短视频和动画,最多支持300字符的脚本。目前,Lalamu仅支持德语和英语,并不支持中文,大家可以在上面网站内尝试。

发表回复