12月第三周AI咨询
  • Post author:
  • Post category:AI
  • Post comments:0评论

本周,一些很多实用的AI工具面世,下面给大家简单介绍一下。

1.FreeInit发布:FreeInit: Bridging Initialization Gap in Video Diffusion Models (tianxingwu.github.io)


由扩散模型生成的视频,往往会出现画面不连续的情况。FreeInit框架的推出,将会改善AI生成视频的时间一致性,让画面看起来更平顺。

例如,FreeInit可以优化Animediff生成的短视频,提高画面的连续性。运行FreeInit,对Animediff V1模型进行优化。左侧是Animediff生成的视频,右侧是经过FreeInit优化后的视频。我们可以看到,画面已经变得更加流畅和平顺。基于扩散模型生成的短视频,经过FreeInit的推理过程优化后,整体质量将会大幅改善。

2.AI歌曲翻唱:https://github.com/open-mmlab/Amphion


近期,一个名为Amphion的开源工具发布,可以把一首歌曲转换为不同歌手的声音。点击视频下方链接,就可以免费使用该工具。

第1步,上传一段样本音频。

第2步,从列表中选择任意的歌手,参数保持默认,点击submit按钮。处理完成后,试听一下转换后的效果。

或者把男声转换为女声。

Amphion仅支持无背景的人声,在使用音频素材的时候,我们可以使用音频处理工具,移除背景音乐。

把音频文件上传到Amphion,选择张学友的声音模型,开始转换。

Amphion仅提供了部分声音模型,暂时无法自定义歌手模型。点击下方链接,还可以在colab运行:Singing Voice Conversion – a Hugging Face Space by amphion,无需排队,处理速度也更快。大家可以尝试。

3.SDXL DPO发布:thibaud/sdxl_dpo_turbo · Hugging Face
本周,基于SD XL模型微调的SDXL DPO发布,可以提升生成图像的整体画质。目前,SDXL DPO模型已经开放下载,大家可以自行尝试。使用同样的提示词,大家可以看一下SDXL和DPO生成图像的对比。从多组对比可以看出,Dpo能够生成更加符合人类审美的图像。无论是对色彩人物,字体的还原方面,都要强于SDXLl基础模型。点击链接就可以在replicate, huggingface尝试该模型。

4.D5 Render 2.6发布:D5 Render | Real-Time Ray Tracing 3D Rendering Software


D5 是一款实时渲染器,环境和材质均基于真实物理属性计算,渲染效果非常真实。本周,D5 Render 2.6版本发布,新增了AI 氛围匹配、UV 随机生成器。半透明,多媒体材质,以及局部曝光功能。新增的科技素材包括多种运动模式的无人机,带有例子特效的全息投影,可以自定义亮度,大小,色彩参数和运动路径。D5 Render 2.6已经可以免费下载,1060(6GB RAM)以上的显卡即可运行。有需要的同学可以尝试。

5.Runway新功能:Welcome to Runway – Runway (runwayml.com)
本周,runway 推出了 Text to speech功能,目前仅支持英文语音合成。runway提供了数十种不同的播报风格和播音员,可以为GEN-2生成的视频,提供专业的配音。在对话框中粘贴一段文本,选择一个播音员,即可完成音频合成。

此外,Runway gen2还新增了多种不同类型的视频比例,可以满足不同用户的需求。

6.微软Copilot加入音乐生成功能:Microsoft Copilot: 你的日常 AI 助手


登录到 Copilot,选择右上角的插件功能,下拉到最下方,开启Suno插件。然后,输入一段中文命令,要求Copilot生成一段音乐。开启suno插件后,Copilot就会按照提示词内容,生成一首歌曲。

7.Stable Audio模型更新:Stable Audio – Generative AI for music & sound fx


为了庆祝圣诞节,Stable Audio向付费用户推出了audiosparx 1.1测试版模型。新模型支持更长的提示词输入,更高质量的音质,并可以输出最长45秒的音乐。如果你是高级用户,就可以登陆Stable Audio,尝试最新的模型。

此外,Google旗下的Music音乐生成工具,已经向美国用户开放使用。可以选择不同的乐器,风格节奏,非美国地区用户,切换到美国的节点,使用Google账号登陆就可以正常使用。

8.Photoshop Maker:PhotoMaker (photo-maker.github.io)

近期,腾讯正在开发一个名为 Photo Maker的项目,可以通过参考图定制人物形象。Photoshop Maker张图像作为参考,生成具有想象力的人物肖像。Photoshop Maker 参考,即可完美模拟某个人物的形象。即使使用油画作为参考,也能准确还原人物的面部特征。这是Github地址:GitHub – TencentARC/PhotoMaker: PhotoMaker

除了生成真实的人物形象,Photoshop Maker还能生成不同风格的图像,效果也非常不错。Photoshop Maker还可以模拟不同年龄和性别的人物形象,生成的图像比较。

而最有趣的功能,则是identity身份混合,可以把两个完全不同的人物面部进行融合,生成新的人物形象。

发表回复