AI新应用–文本转音乐

随之AI技术的快速发展,我在这里写了很多关于文本转图像、视频、全景、游戏等各个领域的应用,今天介绍一个AI新应用–文本转音乐。

这里要用到的工具名称为AudioCraft,audiocraft是由Meta AI开发的,在它之前已经有MusicGen、AudioGen等工具的推出,在音乐爱好者群体获得了一致好评和广泛赞誉。

AudioCraft是一个PyTorch库,用于音频生成的深度学习研究。AudioCraft 包含推理和训练代码 用于两个最先进的 AI 生成模型,产生高质量的音频:AudioGen 和 MusicGen。因为是文本生成音乐的关系,我就不在这个网站上插入音乐了。下面列举了模型训练和音频生成过程:

这个网站为文本生成音乐的AudioCraft代码地址:GitHub – facebookresearch/audiocraft: Audiocraft is a library for audio processing and generation with deep learning. It features the state-of-the-art EnCodec audio compressor / tokenizer, along with MusicGen, a simple and controllable music generation LM with textual and melodic conditioning.

详细描述了本地部署步骤、模型、API文档、代码训练等内容,感兴趣的同学可以尝试部署和测试。

当然它有部署在huggingface上MusicGen的在线体验功能:MusicGen – a Hugging Face Space by facebook

打开后的具体界面如下:

不熟悉本地部署的同样可以点击链接尝试在线生成音乐。既然在线都尝试了,不妨生成一段音乐看看效果。这里我的提示词写的很简单:two steps from hell style,即TSFH的音乐风格。

和预想的不太一样,可能是提示词过于简单的问题吧。

发表回复