宇航员骑马疾驰,配哪个BGM。给AI试试!
输入文本宇航员骑马并以第二速度生成一个1分钟的音频:
Emmm。...听起来好动感!
对,没错,AI可以根据文字提示生成音乐!
上面的演示视频是基于Deforum稳定扩散的Colab页面代码修改的。
这个新项目的名字叫Mubert API,已经在Github开源,获得了1000多颗星。
Twitter上已经有很多人用Mubert API生成音频给自己的视频打分了。
听过试听的朋友留言是这样的:
真人作曲,AI组曲
在演示视频中,这种文本到音乐的人工智能实际上听起来很好。
让我们来看看Mubert API是如何工作的。
大致的工作流程如下:
作曲后上传AI进行风格分类用户输入文本AI用演示套件生成个性化音乐
也就是说,Mubert API虽然在做文字转音乐的工作,但是AI负责的部分只有两步:
根据提示文字将demo分类+组合成一首歌。
总之最后的音乐是真人和AI组曲作曲的。
到底是怎么回事。
回到第一步,音乐人做了一个demo,上传给了Mubert。
目前,音乐人上传的超过150万张demo进入Mubert API的音乐库。
为了让用户玩得开心,Mubert买下了demo的所有版权。
要在各种社交平台分享,一定要mubertapp,带话题#mubert。
但是,不得在DSP上将其标记为原始出版物。
至于商用,就得另定价格了。
Demo上传入库后,AI识别音乐风格,并进行分组,方便标注。
前期工作都准备好了,现在来说说具体的操作流程。
用户需要输入一句话作为提示文本,然后添加几个Mubert API标签。
注意,生成的音乐时长是可以调节的,无论你想不想循环,选择哪个小节开始循环也可以随心所欲。
比如宇航员骑大马,标签就是太空,萨克斯,旅行。
这些文本内容将被编码到Transformer的潜在空间向量中,然后,AI将选择那些最接近提示词和标签的标签向量。
也就是说,经过分析,AI会选择符合提示文字的音乐demo,并进行排列组合。
这样,从文本生成的个性化音乐就出现了!
值得一提的是,即使输入相同的提示文本,产生相似音乐的可能性也比较小。
因为所有音乐都是在提交请求时即时生成的,而不是直接从现有曲目中使用。
一旦开源,网友们纷纷玩起。
日本网民用它来生成流行音乐。
当然,也有人试图用Mubert API给即将到来的万圣节增添一点恐怖。
也有玩家在试玩后表示,Mubert API生成音乐时,提示文字和标签只能提供一种音乐氛围,不能直接搞节奏什么的。
穆伯特级数
根据现有标签生成音乐的Mubert渲染。
与API相比,这是一个糟糕的举动,用户没有办法手动输入提示文本。
但是玩的人很多,页面推荐位置有很多生成的音乐。
还有千千的Mubert工作室,音乐家们可以上传自己的音乐样本,赚些钱。
不复杂,注册就行。
还有一个App叫Mubert Play。
当你在锻炼,放松或冥想时,你需要另一个音乐聆听软件。
有点遗憾的是,现在普通玩家除了自己运行开源代码,都玩不了网页版了。
幸运的是,创作团队在推特上发布了一条消息:
等一下!
Github地址: