GitHub标星近1万：只需5秒音源，这个网络就能实时“克隆”你的声音
作者 | Google团队
译者 | 凯隐
编辑 | Jane
出品 | AI科技大本营（ID：rgznai100）
本文中，Google 团队提出了一种文本语音合成（text to speech）神经系统，能通过少量样本学习到多个不同说话者（speaker）的语音特征，并合成他们的讲话音频。此外，对于训练时网络没有接触过的说话者，也能在不重新训练的情况下，仅通过未知说话者数秒的音频来合成其讲话音频，即网络具有零样本学习能力。
目前，已经有人将该论文实现并在 GitHub 上发布了开源项目，目前该项目标星超 9.5k，fork 数是 1.5k。
GitHub链接：
https://github.com/CorentinJ/Real-Time-Voice-Cloning?utm_source=mybridge&utm_medium=blog&utm_campaign=read_more
简介
传统的自然语音合成系统在训练时需要大量的高质量样本，通常对每个说话者，都需要成百上千分钟的训练数据，这使得模型通常不具有普适性，不能大规模应用到复杂环境（有许多不同的说话者）。而这些网络都是将语音建模和语音合成两个过程混合在一起。本文工作首先将这两个过程分开，通过第一个语音特征编码网络（encoder）建模说话者的语音特征，接着通过第二个高质量的TTS网络完成特征到语音的转换。
两个网络可以分别在不同的数据集上训练，因此对训练数据的需求量大大降低。对于特征编码网络，其关键在于声纹信息的建模，即判断两段语音为同一人所说，因此可以从语音识别（speaker verification）任务进行迁移学习，并且该网络可以在带有噪声和混响的多目标数据集上训练。
为了保证网络对未知（训练集中没有的）说话者仍然具有声音特征提取能力，编码网络在18K说话者的数据集上训练，而语音合成网络只需要在1.2K说话者的数据集上训练。
网络结构
主要由三部分构成：
声音特征编码器（speaker encoder）：
1. 语音编码器，提取说话者的声音特征信息。将说话者的语音嵌入编码为固定维度的向量，该向量表示了说话者的声音潜在特征。
2. 序列到序列的映射合成网络
基于Tacotron 2的映射网络，通过文本和1得到的向量来生成对数梅尔频谱图（log mel spectrogram）。
（梅尔光谱图将谱图的频率标度Hz取对数，转换为梅尔标度，使得人耳对声音的敏感度与梅尔标度承线性正相关关系）
3.基于WaveNet的自回归语音合成网络
将梅尔频谱图（谱域）转化为时间序列声音波形图（时域），完成语音的合成。
需要注意的是，这三部分网络都是独立训练的，声音编码器网络主要对序列映射网络起到条件监督作用，保证生成的语音具有说话者的独特声音特征。
1. 声音特征编码器
编码器主要将参考语音信号嵌入编码到固定维度的向量空间，并以此为监督，使映射网络能生成具有相同特征的原始声音信号（梅尔光谱图）。编码器的关键作用在于相似性度量，对于同一说话者的不同语音，其在嵌入向量空间中的向量距离（余弦夹角）应该尽可能小，而对不同说话者应该尽可能大。此外，编码器还应具有抗噪能力和鲁棒性，能够不受具体语音内容和背景噪声的影响，提取出说话者声音的潜在特征信息。这些要求和语音识别模型（speaker-discriminative）的要求不谋而合，因此可以进行迁移学习。
编码器主要由三层LSTM构成，输入是40通道数的对数梅尔频谱图，最后一层最后一帧cell对应的输出经过L2正则化处理后，即得到整个序列的嵌入向量表示。实际推理时，任意长度的输入语音信号都会被800ms的窗口分割为多段，每段得到一个输出，最后将所有输出平均叠加，得到最终的嵌入向量。这种方法和短时傅里叶变换（STFT）非常相似。
训练集包含按1.6s划分的音频样本，以及他们所对应的说话者label信息，不使用任何重复样本。
生成的嵌入空间向量可视化如下图：
可以看到不同的说话者在嵌入空间中对应不同的聚类范围，可以轻易区分，并且不同性别的说话者分别位于两侧。
然而合成语音和真实语音也比较容易区分开，合成语音离聚类中心的距离更远。这说明合成语音的真实度还不够。
2. 序列到序列的映射合成网络
在Tacotron 2的基础上，额外添加了对多个不同说话者的语音进行合成的功能。Tacotron 2包含注意力层，作者发现直接将嵌入向量作为注意力层的输入，能使网络对不同的说话者语音收敛。
该网络独立于编码器网络的训练，以音频信号和对应的文本作为输入，音频信号首先经过预训练的编码器提取特征，然后再作为attention层的输入。网络输出特征由窗口长度为50ms，步长为12.5ms序列构成，经过梅尔标度滤波器和对数动态范围压缩后，得到梅尔频谱图。为了降低噪声数据的影响，本文还对该部分的损失函数额外添加了L1正则化。
输入梅尔频谱图与合成频谱图的对比示例如下：
右图红线表示文本和频谱的对应关系。可以看到，用于参考监督的语音信号不需要与目标语音信号在文本上一致，这也是本工作的一大特色。
3. 基于WaveNet的自回归语音合成网络
在得到合成频谱图后，还需要进一步转化为时域上的声音波形图，这部分主要通过自回归WaveNet完成。由于上一个合成器生成的序列已经包含了声音合成所需的全部信息，因此这部分不需要编码器进行监督。
4.零样本推断
除了以上三部分，网络还具备零样本推断能力。即对于不在训练集内的说话者（不可见），只需要该说话者几秒的音频段，编码器就能提取出说话者的关键语音特征，并用来辅助映射网络合成序列。并且不需要这段语音与待合成的语音具有相同文本。
实验结果
主要在VCTK和LibriSpeech两个大型数据集上训练。
语音自然度
首先评估了模型合成语音的自然度（即真实度），构建了一个具有100个句子的验证集（不在训练集中），然后对每个数据集，都选择一定数量的可见和不可见说话者，对每个说话者随机选择一个句子作为编码器的输入，然后对该说话者的所有句子进行合成，再与原来的真值进行对比：
语音相似度
为了验证合成语音与原始说话者语音是否相似，对每个说话者的每段语音，都随机选择另一段语音作为真值，然后评估他们的相似度：
说话人认证
该指标与前面两个指标相反，旨在验证语音识别系统能否有效区分合成语音和真实语音：
语音编码器评估
语音编码器是本文工作的核心网络，训练编码器所用的数据集对网络整体性能有较大影响：
总结
本文提出的语音合成网络，能对训练不可见的说话者进行声音合成，并且仅仅依赖于说话者的一小段语音，这使得该网络能够大规模应用于实际环境，也使得语音造假的成本大大降低，类似于之前的deepfake网络。
作者指出该网络生成的合成语音和真实语音仍然是可以区分的，这是因为训练集的数量不足（避免太逼真带来的安全问题）。如果要生成非常逼真的声音，对每个目标说话，仍然需要数十分钟的语音。
https://arxiv.org/pdf/1806.04558.pdf
（*本文为AI科技大本营编译文章，转载请微信联系 1092722531）
◆
精彩推荐
◆
2019 中国大数据技术大会（BDTC）再度来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。6.6 折票限时特惠（立减1400元），学生票仅 599 元！
推荐阅读
相关文章：
entity framework 使用Mysql配置文件
2019独角兽企业重金招聘Python工程师标准>>> <?xml version"1.0" encoding"utf-8"?> <configuration><configSections><section name"entityFramework" type"System.Data.Entity.Internal.ConfigFile.En…
UIWebView、WKWebView使用详解及性能分析
一、整体介绍 UIWebView自iOS2就有，WKWebView从iOS8才有，毫无疑问WKWebView将逐步取代笨重的UIWebView。通过简单的测试即可发现UIWebView占用过多内存，且内存峰值更是夸张。WKWebView网页加载速度也有提升，但是并不像内存那样提…
FFmpeg中libavutil库简介及测试代码
libavutil是一个实用库，用于辅助多媒体编程。此库包含安全的可移植字符串函数、随机数生成器、数据结构、附加数学函数、加密和多媒体相关功能(如像素和样本格式的枚举)。libavcodec和libavformat并不依赖此库。 以下是测试代码，包括base64, aes, des, …
区块链人才月均薪酬1.6万元？
在上周，我国宣布将重点推动区块链技术的发展，这个消息无疑是为区块链开发者们打了一直强心剂，简直是喜大普奔啊 ！ 因为之前区块链这个技术虽然一直在圈内很火，但是却没有得到国家的全面认可和推广，所以很多…
用最少的时间学最多的数据挖掘知识（附教程数据源）| CSDN博文精选
作者 | 宋莹来源 | 数据派THU（ID:DatapiTHU）本文为你介绍数据挖掘的知识及应用。引言最近笔者学到了一个新词，叫做“认知折叠”。就是将复杂的事物包装成最简单的样子，让大家不用关心里面的细节就能方便使用。作为数据科学领域从业…
WKWebView 的使用简介
1. navigationDelegate [objc] view plaincopy print?- (void)webView:(WKWebView *)webView didStartProvisionalNavigation:(WKNavigation *)navigation { // 类似UIWebView的 -webViewDidStartLoad: NSLog("didStartProvisionalNavigation"); [UIAppli…
FFmpeg中libswscale库简介及测试代码
libswscale库功能主要包括高度优化的图像缩放、颜色空间和像素格式转换操作。 以下是测试代码(test_ffmpeg_libswscale.cpp)： #include "funset.hpp" #include <string.h> #include <iostream> #include <string> #include <memor…
FFmpeg中libswresample库简介及测试代码
libswresample库功能主要包括高度优化的音频重采样、rematrixing和样本格式转换操作。 以下是测试代码(test_ffmpeg_libswresample.cpp)，对音频了解较少，测试代码是参考examples中的： #include "funset.hpp" #include <iostre…
高德地图POI搜索，附近地图搜索，类似附近的人搜索
效果图： 首先导入道德地图的SDK，导入步骤不在这里介绍 2：包含头文件： [objc] view plaincopy #import <AMapSearchKit/AMapSearchAPI.h> 3：代码 [javascript] view plaincopy property(nonatomic,strong)AMap…
手把手教你实现PySpark机器学习项目——回归算法
作者 | hecongqing 来源 | AI算法之心（ID:AIHeartForYou）【导读】PySpark作为工业界常用于处理大数据以及分布式计算的工具，特别是在算法建模时起到了非常大的作用。PySpark如何建模呢？这篇文章手把手带你入门PySpark，…
mcDropdown使用方法
最近使用了mcDropdown插件，百度一查，资料较少，只看到了mcDropdown官网的英文说明文档，所以今天就写点，以便以后使用。 第一步：引用jquery库和css jQuery v1.2.6 (or higher)*jquery.mcdropdown.js Plug-inj…
Windows上通过VLC播放器搭建rtsp流媒体测试地址操作步骤
1. 从https://www.videolan.org/index.zh.html 下载最新的windows 64bit 3.0.6版本并安装； 2. 打开VLC media player，依次点击按钮：”媒体” --> “流”，如下图所示： 3. 点击”添加”按钮，选择一个视频…
Swift - AppDelegate.swift类中默认方法的介绍
项目创建后，AppDelegate类中默认带有如下几个方法，具体功能如下： 1，应用程序第一次运行时执行这个方法只有在App第一次运行的时候被执行过一次，每次App从后台激活时都不会再执行该方法。（注：所有…
上热搜了！“学了Python6个月，竟然找不到工作！”
在编程界，Python是一种神奇的存在。有人认为，只有用Python才能优雅写代码，提高代码效率；但另一部分人恨不能把Python喷成筛子。那么，Python到底有没有用，为什么用Python找不到工作？CSDN小姐姐带…
Linux0.00内核为什么要自己设置0x80号陷阱门来调用write_char过程？
我一开始没注意这个问题，只是通过陷阱门觉得很绕弯子，为何不在3级用户代码里直接调用write_char，今天自己写程序想用call调用代码段，才发现了大问题。我写了个类似于write_char的过程，代码如下：dividing_li…
iOS支付宝(Alipay)接入详细流程，比微信支付更简单，项目实战中的问题分析
最近在项目中接入了微信支付和支付宝支付，总的来说没有那么坑，很多人都说文档不全什么的，确实没有面面 俱到，但是认真一步一步测试下还是妥妥的，再配合懂得后台，效率也是很高的，看了这篇文章&a…
LIVE555简介及在Windows上通过VS2013编译操作步骤
LIVE555是使用开放标准协议(RTP/RTCP, RTSP, SIP)形成的一组用于多媒体流C库。这些库支持的平台包括Unix(包括Linux和Mac OS X)、Windows和QNX(以及其它符号POSIX的系统)。这些库已经被用于实现的应用例如LIVE555媒体服务器、LIVE555代理服务器(RTSP服务器应用)以及vobStreamer…
GitHub App终于来了，iPhone用户可尝鲜，「同性交友」更加便捷
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）【导读】据外媒 VentureBeat 报道，在 11 月 13 日举行的 GitHub Universe 上，微软宣布了面向程序员和开发人员的一系列升级，包括针对 iOS 智能手机和 iPad 推出的 GitHub…
[NHibernate]代码生成器的使用
目录 写在前面 文档与系列文章 代码生成器的使用 总结 写在前面 前面的文章介绍了nhibernate的相关知识，都是自己手敲的代码，有时候显得特别的麻烦，比如你必须编写持久化类，映射文件等等，举得例子比较简单，…
RapidJSON简介及使用
RapidJSON是腾讯开源的一个高效的C JSON解析器及生成器，它是只有头文件的C库。RapidJSON是跨平台的，支持Windows, Linux, Mac OS X及iOS, Android。它的源码在https://github.com/Tencent/rapidjson/，稳定版本为2016年发布的1.1.0版本。 Rap…
高德地图关键字搜索oc版
.h文件 // MapSearchViewController.h // JMT // // Created by walker on 16/10/11. // Copyright © 2016年 BOOTCAMP. All rights reserved. // #import <UIKit/UIKit.h> #import <AMapNaviKit/MaMapKit.h> #import <AMapSearchKit/AMapSearchKit.h&…
同一个内容，对比Java、C、PHP、Python的代码量，结局意外了
为什么都说Python容易上手！是真的吗？都说Python通俗易懂，容易上手，甚至不少网友表示「完成同一个任务，C 语言要写 1000 行代码，Java 只需要写 100 行，而 Python 可能只要 20 行」到底是真的还是…
图片存储思考：
http://blog.csdn.net/liuruhong/article/details/4072386
LIVE555中RTSP客户端接收媒体流分析及测试代码
LIVE555中testProgs目录下的testRTSPClient.cpp代码用于测试接收RTSP URL指定的媒体流，向服务器端发送的命令包括：DESCRIBE、SETUP、PLAY、TERADOWN。 1. 设置使用环境：new一个BasicTaskScheduler对象；new一个BasicUsageEnvironm…
swift代理传值
比如我们这个场景，B要给A传值，那B就拥有代理属性， A就是B的代理，很简单吧！有代理那就离不开协议，所以第一步就是声明协议。在那里声明了？谁拥有代理属性就在那里声明，所以代码就是这…
重磅：腾讯正式开源图计算框架Plato，十亿级节点图计算进入分钟级时代
整理 | 唐小引 来源 | CSDN（ID：CSDNnews）腾讯开源进化 8 年，进入爆发期。 继刚刚连续开源 TubeMQ、Tencent Kona JDK、TBase、TKEStack 四款重点开源项目后，腾讯开源再次迎来重磅项目！北京时间 11 月 14 日…
类似ngnix的多进程监听用例
2019独角兽企业重金招聘Python工程师标准>>> 多进程监听适合于短连接，且连接间无交集的应用。前两天简单写了一个，在这里保存一下。 #include <sys/types.h>#include <stdarg.h>#include <signal.h>#include <unistd.h&…
今日头条李磊等最新论文：用于文本生成的核化贝叶斯Softmax
译者 | Raku 出品 | AI科技大本营（ID:rgznai100）摘要用于文本生成的神经模型需要在解码阶段具有适当词嵌入的softmax层，大多数现有方法采用每个单词单点嵌入的方式，但是一个单词可能具有多种意义，在不同的背景下&#…
FFmpeg中RTSP客户端拉流测试代码
之前在https://blog.csdn.net/fengbingchun/article/details/91355410中给出了通过LIVE555实现拉流的测试代码，这里通过FFmpeg来实现，代码量远小于LIVE555，实现模块在libavformat。 在4.0及以上版本中，FFmpeg有了些变动ÿ…
虚拟机下运行linux通过nat模式与主机通信、与外网连接
首先：打开虚拟机的编辑菜单下的虚拟网络编辑器，选中VMnet8 NAT模式。通过NAT设置获取网关IP，通过DHCP获取可配置的IP区间。同时，将虚拟机的虚拟机菜单的设置选项中的网络适配器改为NAT模式。即可！ 打开linux࿰…