AIGC基于文本生成音乐,现在压力来到配乐行业这边

时间:2022-10-28       来源: IT之家       阅读量:19527   

宇航员骑马疾驰,配哪个BGM。给AI试试!

输入文本宇航员骑马并以第二速度生成一个1分钟的音频:

Emmm。...听起来好动感!

对,没错,AI可以根据文字提示生成音乐!

上面的演示视频是基于Deforum稳定扩散的Colab页面代码修改的。

这个新项目的名字叫Mubert API,已经在Github开源,获得了1000多颗星。

Twitter上已经有很多人用Mubert API生成音频给自己的视频打分了。

听过试听的朋友留言是这样的:

真人作曲,AI组曲

在演示视频中,这种文本到音乐的人工智能实际上听起来很好。

让我们来看看Mubert API是如何工作的。

大致的工作流程如下:

作曲后上传AI进行风格分类用户输入文本AI用演示套件生成个性化音乐

也就是说,Mubert API虽然在做文字转音乐的工作,但是AI负责的部分只有两步:

根据提示文字将demo分类+组合成一首歌。

总之最后的音乐是真人和AI组曲作曲的。

到底是怎么回事。

回到第一步,音乐人做了一个demo,上传给了Mubert。

目前,音乐人上传的超过150万张demo进入Mubert API的音乐库。

为了让用户玩得开心,Mubert买下了demo的所有版权。

要在各种社交平台分享,一定要mubertapp,带话题#mubert。

但是,不得在DSP上将其标记为原始出版物。

至于商用,就得另定价格了。

Demo上传入库后,AI识别音乐风格,并进行分组,方便标注。

前期工作都准备好了,现在来说说具体的操作流程。

用户需要输入一句话作为提示文本,然后添加几个Mubert API标签。

注意,生成的音乐时长是可以调节的,无论你想不想循环,选择哪个小节开始循环也可以随心所欲。

比如宇航员骑大马,标签就是太空,萨克斯,旅行。

这些文本内容将被编码到Transformer的潜在空间向量中,然后,AI将选择那些最接近提示词和标签的标签向量。

也就是说,经过分析,AI会选择符合提示文字的音乐demo,并进行排列组合。

这样,从文本生成的个性化音乐就出现了!

值得一提的是,即使输入相同的提示文本,产生相似音乐的可能性也比较小。

因为所有音乐都是在提交请求时即时生成的,而不是直接从现有曲目中使用。

一旦开源,网友们纷纷玩起。

日本网民用它来生成流行音乐。

当然,也有人试图用Mubert API给即将到来的万圣节增添一点恐怖。

也有玩家在试玩后表示,Mubert API生成音乐时,提示文字和标签只能提供一种音乐氛围,不能直接搞节奏什么的。

穆伯特级数

根据现有标签生成音乐的Mubert渲染。

与API相比,这是一个糟糕的举动,用户没有办法手动输入提示文本。

但是玩的人很多,页面推荐位置有很多生成的音乐。

还有千千的Mubert工作室,音乐家们可以上传自己的音乐样本,赚些钱。

不复杂,注册就行。

还有一个App叫Mubert Play。

当你在锻炼,放松或冥想时,你需要另一个音乐聆听软件。

有点遗憾的是,现在普通玩家除了自己运行开源代码,都玩不了网页版了。

幸运的是,创作团队在推特上发布了一条消息:

等一下!

Github地址:

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。