出道四年,会唱《野狼disco》的微软小冰在唱歌能力上都经历了什么?

来源:QQ快报
责任编辑:李志喜
字体:

记者 | 伍洋宇

编辑 |

1

《野狼disco》火了之后,音乐圈里不乏出现一些精致的翻唱版。这当中有一位少女音的演唱者很特别,她叫小冰,是微软研发多年的人工智能机器人。

微软小冰由微软(亚洲)互联网工程院于2014年5月正式推出,截至2019年8月15日已经进化至第七代。作为一个人工智能底层框架和系统,她融合了自然语言处理、计算机语音和计算机视觉等多种技术。

目前,小冰的产品形态涵盖社交对话机器人、智能语音助理、人工智能内容创作和生产平台等。微软曾强调过,比起单一的任务完成,小冰更注重人工智能在拟合人类情商维度的发展,强调人工智能情商和在人机交互中的基础价值。

2016年,微软开始培养小冰的唱歌能力。“那个时候可能这个方向还比较冷门,所以有很多朋友一直在问我,说小冰怎么开始想要做唱歌了?”微软小冰首席语音科学家栾剑对界面新闻记者表示,小冰在2015年推出文字回复以外的语音聊天功能。对应小冰“精灵古怪”的少女人设,其声音也相较活泼可爱,在一开始就受到了部分C端用户的欢迎。

一年多的时间里,团队在儿化音、中英文混杂的朗读、讲儿童故事、各种情感的表现方面调教小冰的说话能力,虽然在分词、多音字、韵律上面还有一些瑕疵,但基本面问题已经大部分得到解决。

“所以,这个时候我们在想我们可能要寻找一个更有挑战性的课题。”栾剑说。

发展小冰的唱歌能力有主要三方面原因:首先,唱歌的技术门槛比说话要高,除了发音之外,它还有节拍和旋律两大要素;其次,唱歌在情感表达上更丰富和激烈,这就有可能对应更多用户的心理情景;再者,唱歌是生活中很重要的娱乐方式,团队认为这中间存在较大的市场空间。

小冰的虚拟形象(图自:微软)

传统的唱歌合成方式主要分两类。第一类叫做单元拼接,把声母和韵母按不同音高进行采集,再形成单元库。有了想要合成歌曲的目标时长和目标音高后,就可以通过信号处理的方式修改单元的时长和音高,最后拼接成理想效果。这个方法的有点在于简单易行,且可以保证最佳音质,但问题在于单独发音和一串连续语流中发音的差别,会使生成歌曲听着有些生硬,“唱得不是那么自然,是一个字一个字在蹦的感觉。”

第二类叫做参数合成,采用的是隐马尔可夫模型。它不是建立单元库,而是把所有录音的数据提取出声学参数。这个声学参数里面包括能量谱、时长、音高等等要素,再由此建立一个模型。等到要合成歌曲的时候,便根据目标发音在模型中进行预测得到一组声学参数,最后通过声码器对其波形重构。

“这种方式比较灵活,基本上可以认为我把一个东西全部打碎了,打碎之后再重新拼,这个力度会非常小,所以它的变化很丰富,甚至我可以创造一个从来不存在的声音。”栾剑表示,但该方法相应的弊端就是音质相较第一种会有所下降。

小冰团队选择了前景更为广阔的参数合成的方式,并在其基础上有所改良。

“最开始的模型就是从乐谱里面把那三大要素采集出来之后,分别对声谱参数、节奏序列、音高轨迹用三个模型分别建模。”但由此预测出来的参数合成之后的高音和低音,音色听起来不像出自同一个人,团队又为此做出第二代模型。

“接下来进一步的提升就是,既然这三个参数之间有很重要的耦合性,互相之间需要协调、同步预测,我们干脆(只)用一个模型,同时预测这三个参数。”当然这样的技术会更有难度,但团队引入了卷积神经网络、残差连接等,使三个参数同时建模成为了可能。由此生成的歌曲,其流畅度和自然度都有了较为明显的提升。

在学习唱歌的道路上,小冰也会遇到很多现实问题。

判断一个唱歌模型的好坏有两个重要判断标准:一是适用性,能表现多种风格;二是数据,数据又和学习能力息息相关——在不断升级的GPU带来的算力提升以及大数据的支撑下,深度学习发展得越来越好。但人工智能的唱歌人物在数据来源方面存在困难,“因为相对于说话来说,清唱的数据是非常少,绝大部分的数据是混杂的、伴奏的音轨。”栾剑表示。

小冰团队曾和一家唱片公司合作,这家公司保留的大都是成品歌曲而非清唱人声,混合了各种音轨和伴奏。团队此时要做的事,便是如何在伴奏音频中把人声的音高提取得更好。这之中存在的三个问题在于:首先,找到伴奏里面人声部分的时间戳,也就是从什么地方起有人声唱歌;其次,准确找到每个发音的起始和结束时间;最后,提取人声的音高轨迹。

团队给出的解决方案有三点创新:用原始波形代替能量谱输入,以保证完整的相位信息;通过全卷积网络和残差连接,形成相对简洁清晰的网络结构;以软分类标签弱化判断音高的错误程度。这样的方案会提升学习的准确率,减少一些错误和偏差。

小冰版本《野狼disco》目前在QQ音乐可试听,采用了尚未发布的粤语和说唱模型,此外还有30首已发布的作品。其日本地区的分身——凛菜,也已与日本唱片公司AVEX正式签约。近期还将解锁歌词改编文本生成技术、舞台表演歌声合成技术,以及表演互动与MC能力等等。

事实上,小冰的歌手身份只是其内容创作技术版图的一隅,其更广阔的市场由社交对话机器人、智能语音助理、人工智能内容创作和生产平台等多种形态构成。栾剑认为,无论是人工智能创造还是唱歌能力的提高,归根结底仍是模型提升和数据挖掘。“这两个东西如果我们做得更好,我们的质量会不断得到提高。”

据悉,在全球多个国家,微软小冰单一品牌已覆盖6.6亿在线用户、4.5亿台第三方智能设备和9亿内容观众,与用户的单次平均对话轮数(CPS)仍保持在23轮。目前已落地的商业客户覆盖金融、零售、汽车、地产、纺织等十个领域,客户包括万科、万得资讯、万事利、中国联通等。

原文链接

参与界面新闻热门评论

点击查看本文作者伍洋宇(界面记者)的其他文章

请注意:本文转载自QQ快报,并不代表本网赞同其观点,版权归原作者所有,本网不承担任何责任,特此声明。

根据您访问的内容,您可能还对以下内容感兴趣,希望对您有帮助:

出道四年 歌词

答:出道四年 演唱:Gala 一年又一年 我们出道已四年 时间快得像眨眼 没赚多少钱 排行榜也没出现 我们却快乐似神仙 不用去上班 不用看老板白眼 不爽我自己滚蛋 你看不顺眼 没办法我是很贱 有音乐我心甘情愿 情愿 情愿 情愿 情愿 情愿这样快乐简单 妈...

gala的《出道四年》mv说的是哪支乐队

答:Anvil(铁砧),是一支来自加拿大老牌重金属乐队,这支乐队被尊称为“金属摇滚乐的领袖”,对后来的Metallica, Slayer和Anthrax等乐队都产生了深刻的影响。乐队多部歌曲Hard 'N' Heavy 、Metal on Metal等深受歌迷喜爱。

出道四年,资源非常好,肖战会不会变成下一个鹿晗?

答:在这里我明确地告诉你,世界上根本就不可能会有这种一个人成为另一个人的说法,要知道每一个人都是独一无二的,并且他们都有无限的可能,而且一上来就把肖战的定位定的这么死,那我觉得他以后的成就也就鹿晗那么高了,不可能在往上。 其次从客观...

出道四年,法国男模Victor Perr怎样从小鲜肉变成了...

答:法国男模Victor Prerr是2017年时装周大火的男模之一,也是凭借他超级稳的台风,帅气的脸庞成为了男模圈炙手可热的人物,而且在春夏的活动中也是被品牌方钦点成为广告男模,Victor Perr也是讲自己的运动风与自己身上独有的气质融为一体,而且他经...

EXO出道四年,快五年了,经历了哪些

答:12年在中国领奖被前辈现场恝某欧巴在电台节目说一直追自己的粉丝爬了EXO导致EXO收了5000卡车人参、某割割跟粉丝说不要喜欢exo哦、12年的茶蛋参加商演得到的只有大米、有过开签售会都没人去的时候、空白期太长,EXO轮番上官网留言,说我们马上就...

exo出道四周年首尔安可场演唱会全程

答:http://www.bilibili.com/video/av4159872/ 160320 首尔安可 动物睡衣 舞蹈

出道四年的歌词

答:出道四年 一年又一年 我们出道已四年时间快得像眨眼 没赚多少钱排行榜也没出现我们却快乐似神仙不用去上班 不用看老板白眼不爽我自己滚蛋你看不顺眼 没办法我是很贱有音乐我心甘情愿情愿 情愿 情愿 情愿情愿这样快乐简单妈妈觉得我同性恋其实我...

王一博帅成这样,都要出道四年才火,娱乐圈这条路哪有

答:2018年是新人破土而出的一年,偶像剧和选秀借着势头捧火了许多小鲜肉们。创造101落幕,芒妈表示:舍不得这群陪伴我们每个周末的小姐姐们,更舍不得是导师王一博。 101本来是女团选拔,没想到芒妈的眼睛从第一期就被导师王一博锁定。舞蹈动作出色...

李一桐出道4年几乎都在演女一号,为什么就是不火?

答:我觉得是因为她没有一部大火的剧。她很漂亮,演技也很好,但是她出演的剧本都不是大制作,另外营销上面也不是很好。 李一桐是一个看起来很甜美的女孩子,而且他的演技很好,在一段时间内是很多宅男所倾慕的对象,但是在广大女性的眼中。李一桐的...

李一桐出道4年从没演过配角,与杨洋邓伦搭戏全是女...

答:娱乐圈当中,小火靠实力打拼,大火则需要一些运气和机遇,感觉李一桐就是这样的一个明星,所以出道以来,作品不少,而且基本上都是演的女一号,而且和不少当红明星搭档过,但就是一直不愠不火的,让粉丝们为她感到可惜。 李一桐不是科班出身,但...

声明:以上内容由用户提供,并不代表本网赞同其观点。如有任何不妥,请与不良与违法信息举报中心联系:513175919@qq.com

www.book1234.com true http://www.book1234.com/q/20191125/20191125A033S900.html report 39228
娱乐时尚
科技资讯
历史文化
真视界
旅游美食
精彩图文
我爱我车
母婴健康
关于本站 | 广告服务 | 手机版 | 商务合作 | 免责申明 | 招聘信息 | 联系我们
Copyright © 2004-2018 book1234.com All Rights Reserved. 布客网 版权所有
京ICP备10044368号-1 京公网安备11010802011102号