作者 | 卷毛
编辑 | 张洁
头图 | 无界AI
* 今日头图使用无界AI创作,关键词“masterpiece, best quality, highly detailed, girl, short hair, on the stage”
最近“冷门歌手”孙燕姿现身音乐节,有歌迷调侃她“再不出来就要被AI取代了”。
是的,近一个月来,经过众多AI玩家的二创助力,“AI孙燕姿”已经在B站出道了。
从周杰伦的《发如雪》、郭顶的《水星记》,到数码宝贝的主题曲《Butterfly》、云南山歌《朝你大垮捏一把》,AI孙燕姿什么歌都能唱。
在看不到孙燕姿现场演出的日子里,粉丝们只好自己动手用AI生成想听的歌曲,许多歌还是本人从未唱过的。虽然现在AI只模仿了音色,还原不了所有唱法技巧,但能复刻嗓音就提供了足够的二创空间。
不仅是AI孙燕姿,网友们还创造了周杰伦、王菲、五月天等众多歌手的“AI平替”,此外还有一些本身不在音乐圈的热门人物也开口唱了起来,比如讲相声的郭德纲、原神游戏角色纳西妲、游戏主播孙笑川。
“头号AI玩家”研究了这些AI歌手是如何走红的,背后有哪些热门的AI语音生成工具,以及和律师朋友聊了聊,通过AI歌曲来赚钱,这当中可能存在什么风险。
我们在B站搜索“AI孙燕姿”,粗略统计了近一个月内发布的60多条相关视频,累计播放量已超过1000万。目前单条视频播放数最高近百万的是翻唱南拳妈妈的《下雨天》。
开头一句“下雨天了怎么办,我好想你”,弹幕纷纷刷起“这个味道太对了”,我作为从小听孙燕姿长大的粉丝乍一听也感到震惊,一时分辨不出这是AI唱的。
看上去,这下歌迷们再也不用苦等孙燕姿出新歌了,直接在评论区点歌,催着UP主用AI出新专辑。比如当年华语乐坛的鼎盛期有“男周女孙”的说法,现在AI就可以轻松实现两人互唱代表作的效果了。
UP主“Eternity丨L”在此基础上进一步添加了和声剪辑,让AI孙燕姿和周杰伦合唱《半岛铁盒》《回到过去》《暗号》等歌曲,目前最高一条视频播放量超63万。
有创作者开始专注于发布AI孙燕姿翻唱视频,比如UP主“罗斯特_x”自4月15日起保持日更,25条AI孙燕姿视频合集累计播放量达231万,目前粉丝1.4万。
据观察,其他AI歌手翻唱的整体热度都不及AI孙燕姿,除了歌手知名度等自身因素,仅从技术来看,用户普遍反馈AI孙燕姿的声音更贴近本人音色,翻唱各类歌曲的效果也比较百搭。
从内容来看,偏向整活搞笑的AI翻唱同样受到欢迎,效果类似于鬼畜视频,且因为训练数据质量的限制,非专业歌手的声音用作这类翻唱视频相对容易一些。就像上文提到的AI孙笑川,单条视频最高播放达190万。
此外,AI翻唱视频的走红背后还有平台运营的推动,比如B站音乐区推出“虚拟之声创作计划”,给优质稿件提供流量扶持和活动奖励,UP主可选择话题“AI虚拟之声实验室”投稿,目前该话题已有超8261万次浏览。
其实在AIGC的风刮到华语乐坛之前,就已经有用AI歌声合成技术的虚拟歌手了。
比如2012年出道的虚拟歌手洛天依,在2022年解锁了AI声库(基于ACE Studio),歌声更加动人流畅,创作者使用其声库创作歌曲也更加简便。
这里的声库是指通过采集人类的声音标本制作成的歌声资料库,AI歌声生成与文生图、文生音频不同,并不是从无到有生成音频的,必须先输入声音素材进行训练,才能合成歌声,属于音频生成音频。
目前使用人数较多的歌声合成工具包括:VOCALOID,X Studio,Project Vogen,VocalSharp,AI Singers、ACE Studio、歌叽歌叽、Synthesizer V Studio、Deep Vocal等等。一般用户可以免费使用或者花费几百元就能用虚拟歌手创作歌曲。
基于YAMAHA开发的VOCALOID系列引擎是最早进入国内推广的歌声合成工具,初音未来便是在VOCALOID的基础上训练了声优藤田咲的声线。
虽然早期的虚拟歌姬也采用了声音合成技术,但需要大量训练数据,主要依靠人工调教来模拟人声,创作者只能使用歌手音源库中的声音进行合成,而且声音有明显的“拼接感”或“电子音”。
近年来的歌声合成技术逐渐引入深度学习算法,仅使用少量采样就可以合成更加真实和自然的人声。
具体来看,AI创作音乐通常包含数据收集与预处理、特征提取、模型训练、音乐生成、后处理与优化、输出与演奏这6个步骤。
2020年,人工智能研究机构OpenAI开发的神经网络Jukebox(点唱机),曾为歌手Katy Perry和Elvis Presley创作了AI新歌。
2022年,腾讯音乐推出超写实虚拟偶像鹿晓希LUCY,她拥有“唱片级”声音定位和自动生成的音感,QQ音乐的歌手页面显示上线了13首单曲。
如今的AI歌手配上虚拟形象,表现形式越来越丰富,经过团队运营可达到偶像级人气。但这样从0打造一位AI歌手的制作成本较高。UP主“-LKs-”在介绍AI语音的一期视频中提到,商业公司做一个虚拟歌手声库的启动成本可能要20~40万,这还不包括后续的维护。
但在开源社区,用户现在可以免费训练一个自己的“洛天依”。比如专注于AI唱歌的开源项目DiffSinger,用户提供数小时的干声,就能合成基于这个声音的声库,音色很还原。
AI孙燕姿的音频则使用了AI音色转换技术Sovits4.0版本(全称So-vits-svc)生成,这是由国内歌声合成爱好者Rcell,基于VITS、soft-vc、VISinger2等一系列项目开发的开源免费AI语音转换软件,可以在本地训练。
类似的,科普UP主“花儿不哭”开发了AI变声器RVC开源免费项目,约10分钟就可以克隆一个人的声音。
有了AI助力,业余爱好者创作歌曲愈发便利,不过AI歌手的技术和应用暂时还达不到所谓取代人类歌手的程度,AI在创作能力、情感表达和人格魅力方面仍然难以匹敌人类。
比如AI孙燕姿的音色很像本人,但唱法上的断句、口音、咬字等细节并不相同,目前AI还无法做到个性化的独特演绎。并且,AI暂时不能准确地模仿人类的情绪变化,也不能像真人歌手现场演唱那样即兴发挥。
AI语音生成技术的发展正让虚拟声音的受众变得更广,我们看到越来越多的人试着利用AI来表达怀念和爱,无论是重现已逝歌手的歌声,还是对知名人物的二创,亦或是长久留存家人朋友的声音,这些多出于善意。
但与此同时,AI声音也有可能被用于欺诈,比如用AI模仿家人声音以获取对方信任,施行电信诈骗,或者像换脸视频一样伪造虚假的录音、言论,进而造谣诽谤他人。
更值得注意的是,与其他生成式AI模型类似,AI歌手存在侵犯版权的风险。
近期,控制全球音乐市场近三分之一份额的环球音乐,已经发函要求苹果、Spotify等流媒体平台封禁侵犯公司旋律、歌词版权的AI作品。
有网友质疑,一种被市场认可的声音,是歌手团队辛苦经营的成果,这个声音对团队是有经济价值的。AI可以指名道姓地复刻出来商用吗?
上海兰迪律师事务所资深律师陈梦园告诉“头号AI玩家”,未经他人允许,用AI训练他人声音,构成侵权,侵犯个人声音相关权利。如制作的歌曲来源于现有曲库,且歌曲或歌词与现有歌相同或相似,则还构成著作权侵权。这当中所涉及的各方需要承担这些责任:
一般来说,用户可以用自己的声音或者他人授权的声音素材训练AI歌手。如果是未授权的情况,比如想训练AI邓丽君、AI张国荣,但这些歌手的声音素材没有得到授权,就不能用于合成歌曲。
许多AI语音生成项目会在免责声明中强调,用户需自行承担数据集的授权问题,并且基于该项目制作的声音、视频不得用于非法行为。部分创作者在发布AI歌曲时,同样会注明仅供学习交流使用,严禁商用。
不过仍有未经授权复刻明星声音的案例出现,为了避免引起更严重的法律问题,Sovits开发者Rcell发布紧急公告称已自行删库,现由svc-develop-team接手后续的代码维护和社区管理工作。
创作者的态度也比较谨慎。“罗斯特_x”表示自己发布AI孙燕姿翻唱视频完全是兴趣使然,再考虑到版权问题,所以不会开启收益激励和充电。
对音乐行业的专业人士来说,AI侵袭音乐版权可视作互联网侵权现象的延续,版权保护任重道远;而在另一方面,眼下音乐市场的内容创作和商业应用也开始与AI合作。
2022年6月,酷狗音乐推出基于“凌音引擎”、以杨超越真人声音打造的首个AI歌手“超越AI”,此后又陆续推出了8位AI歌手,最近AI说唱歌手柒月上线单曲《女侠》,挑战10秒唱85个字的中文说唱极限语速。
台湾歌手陈珊妮近期发布了最新单曲《教我如何做你的爱人》,随后她宣布这首歌其实由自己的AI模型演唱的。她认为,AI vocal要怎么唱,能唱得多好,终究需要专业音乐制作人,以人类的美学和经验去引导 AI。
曾就职于多家音乐流媒体平台版权部的李强,在接受“新音乐产业观察”采访时提到,AI正在分割音乐的“应用场景”,把“实用性”和“原创性”区别对待。“对于原创性需求不高的商业音乐应用场景,例如‘罐头音乐’,AI音乐会有很大的发展空间,因为这类音乐的需求明确,核心是像而非创造性,这更符合AI音乐的天然基因。”
对于大众来说,在合法合规的情况下,AI歌手仍有其市场需求。
作为娱乐消费的一种新形式,AI歌手能放大IP的声音价值,粉丝可以定制偶像/歌手/演员等人物演唱的歌曲,满足自己的审美需求,歌手和音乐平台也可以用AI创新营销,扩大知名度,从而获益。
面对AI音频技术的发展,有网友大胆畅想,以后听音乐的流程可能是这样的:打开APP-选择歌曲-选择歌手音色-点击播放,想听谁唱就听谁唱。
AI歌手同样降低了内容生产的参与门槛。考虑到唱几首歌就能生成自己的AI歌手,音乐小白或不懂技术的爱好者,也有机会创作歌曲、秒变歌星。