1400小时开源语音数据集，你想要都在这儿
整理 | 一一
出品 | AI科技大本营（ID:rgznai100）
3 月 1 日，由 Mozilla 基金会发起的 Common Voice 项目，发布新版语音识别数据集，包括来自 42000 名贡献者，超过 1400 小时的语音样本数据，涵盖包括英语、法语、德语、荷兰语、汉语在内的 18 种语言。
（数据集链接：https://voice.mozilla.org/zh-CN/datasets）
Common Voice 项目可以集成到由 DeepSpeech，也就是基于 DeepSpeech 语音识别框架的一套语音转文本的开源语音识别引擎。它不仅包括语音片段，还包括对训练语音引擎有用的元数据，如说话者的年龄、性别和口音，收集这些语音片段需要做大量的工作。目前 DeepSpeech 项目已在GitHub上获得了 9418 个 Star，1674 个 fork。
（GitHub 传送门：https://github.com/mozilla/DeepSpeech）
它目前是同类项目中最大的多语言数据集之一，Mozilla 声称，此次发布的数据集比八个月前公开发布的 Common Voice 语料库要更加庞大，其中包含来自 20,000 名英语志愿者的 500 小时语音数据（400,000 条录音），而且语料库还将进一步扩充。该基金会表示，通过 Common Voice 网站和移动应用，他们正在积极开展 70 种语言的数据收集工作。
2017 年 6 月，Mozilla 宣布推出 Project Common Voice 众包计划，旨在为语音识别应用构建开源数据集。他们邀请来自世界各地的志愿者通过网络和移动应用贡献语音记录的文本片段，当然，他们会非常严格地保护项目贡献者的隐私。
2017 年 11 月，Mozilla 基金会发布了第一批 Common Voice 英语数据集成果，该数据集包括大约 500 个小时的语音数据，以及来自 20,000 个志愿者贡献的 400,000 条录音。2018 年 6 月，Mozilla 开始收集法语、德语和威尔士语等 40 多种语种的众包语音数据。
为了简化流程，Mozilla 本周还推出了一款改进的 Common Voice web 工具，其可以对不同的语音剪辑进行更改，还增加了用于查看、重新录制和跳过剪辑的新控件，一个可以快速切换仪表板的“说话”和“收听”模式的开关，以及选择退出语音会话的选项。此外，它正在推出新的配置文件功能，允许用户跨语言跟踪他们的语言进度和指标，并添加人口统计信息。
未来几个月里，Mozilla 表示将尝试不同的方法来增加数据收集的数量，提升数据质量，并且最终计划使用部分录音数据来开发语音产品。
语音技术将是一大科技技术革新，但可惜的是，目前操纵这场革新游戏的只有大型科技公司。
首先，科技巨头一般都来自科技强国，而用于训练机器的语音数据目前更偏向于英语、中文等一些特定的语言，在多样性方面，显然这并不适合全人类。
其次，像亚马逊、谷歌、苹果这样的科技巨头正在大力投资他们的智能助手，但由此产生的数据集并不对外开放，而像学生、创业公司和对构建语音设备感兴趣的人只能访问非常有限的数据集，而且可能还需要付费购买。
基于此，Mozilla 基金会认为，没有足够的数据开放给公众使用，将会扼杀科技创新，开放语音数据集则可以让更多人参与进来，让任何人都可以自由地使用该数据集，将语音技术嵌入到各种应用和服务中。这类似于 OpenStreetMap 这样的开放众包项目，该项目为开发人员提供开放且可自由使用的世界地图。
在新的数据集发布后，外国网友们也对此进行了评价：
看到开放数据领域的创新真是太好了。最近有许多断言认为，质量更高的 ML 数据将要比 ML 算法更重要，这么说是对的，特别是在语音识别等领域。然而，要赶上科技巨头还有很长的路要走。因为在 15 年前，就有公司每年会处理 100 万分钟的标签语音数据。
除非我们在这方面进行投资，否则老牌企业和新进入这个市场的企业之间的数据差距将继续扩大。
另有网友花了时间验证了一些语音，他在评论中表达了质疑称：
至少在我能听出来的范围内，我没有听到任何句子说错了。不过，我确实遇到了大量非常糟糕的样本，以至于有些难以理解。比如口音重、有背景噪音或者非常安静，而且他觉得一些“机械的”样本是通过文本转语音软件生成的。所以 Common Voice 能提供优质数据吗？
还有网友拿开源数据集 LibriSpeech 做了对比：
ASR 训练的有声读物是绝对不错的。事实上，在 Common Voice 之前，最大的 ASR 公开训练数据集是 LibriSpeech (http://www.openslr.org/12/)。同样值得注意的是，Mozilla 的 DeepSpeech 模型的第一个版本使用 LibriSpeech 进行了训练和测试。但是正如其他人提到的由于一些数据集不够好，由 Common Voice 的数据集训练的有声读物存在一些瑕疵。
但是 Common Voice 的目标不是取代 LibreSpeech 或其他开放数据集(如 TED 演讲)作为训练数据集，而是它们的有益补充。
总之，相较于目前已开源的其他语音数据集类型单一，数据量不足，数据杂乱的情况，虽然而 Common Voice 的数据集有不足，但在综合多样性、丰富性和质量方面都遥遥领先。它有望被全世界更大范围内的开发者们所关注并受益，也将为语音技术的发展带来不可估量的价值。
链接：
https://blog.mozilla.org/blog/2019/02/28/sharing-our-common-voices-mozilla-releases-the-largest-to-date-public-domain-transcribed-voice-dataset/
（本文为AI科技大本营整理文章，转载请微信联系 1092722531）
群招募
扫码添加小助手微信，回复：公司+研究方向（学校+研究方向），邀你加入技术交流群。技术群审核较严，敬请谅解。
推荐阅读：
90后美女学霸传奇人生：出身清华姚班，成斯坦福AI实验室负责人高徒
如今，你感受到内存技术的“思维速度”了吗？
暴雪游戏遭遇AI“实力”坑队友：四处游走，还不参与战斗
Java帝国对Python的渗透能成功吗？
快速上手爬虫，有哪些方便实用的工具和服务？
跨界打击, 23秒绝杀700智能合约! 41岁遗传学博士研究一年,给谷歌祭出秘密杀器！
万万没想到你们竟是这样的程序员 | 程序员有话说
“SQL 被低估了！”
腾讯云容器团队内部Istio专题分享
刚刚，阿里发布了一个重磅技术炸弹，70%的程序员受影响！
点击“阅读原文”，查看历史精彩文章。
相关文章：
【VirtualBox】VirtualBox使用现有的虚拟盘文件（如VHD）创建虚拟机时，报错：打开虚拟硬盘失败，“UUID already exist”的解决方法
###0、问题描述 使用现有的虚拟盘文件（如VHD）创建虚拟机时，报错：打开虚拟硬盘失败，“UUID already exists”的错误。 ###1、参考博客 https://www.cnblogs.com/xqzt/p/5053338.html https://jingyan.baidu.com/articl…
JDK10 EA版特性速览
今天收到一封邮件组的邮件，是关于JDK 10 First Release Candidate的， JDK10 b43版将作为第一个JDK10的RC版。 b43版特性包括： 286: Local-Variable Type Inference296: Consolidate the JDK Forest into a Single Repository304: Garbage-Col…
linux主机常用管理命令
1.杀掉MYSQL SHELL ps aux|grep mysql|grep -v grep|awk {print $2}|xargs kill -9 2.删除当前目录下0字节的文件 find -type f -size 0 -exec rm -rf {} \; 3.匹配当data里包含"donald"，输出第4列 awk /donald/ {print $4} data 扩展1： awk /…
【Qt】新安装的虚拟机，使用QtCreator第一次编译时报错：g++: Command not found
1、问题描述 新安装的虚拟机，使用QtCreator第一次编译时报错：g: Command not found （或着报，make执行失败之类的错误） 2、原因分析 新安装的虚拟机中，没有g。一般默认情况是，只安装了gcc 3…
爬一爬那些年你硬盘存过的“老师”
作者 | PayneLi 转载自Python全家桶（ID: python-0321） 人工智能的现状及今后发展趋势如何？ https://edu.csdn.net/topic/ai30?utm_sourcecsdn_bw 最近在Github发现一个基于google浏览器的爬虫项目，此项目是由美国大神2018年开源…
python 打印调用栈
import tracebackdef BBQ():traceback.print_stack() 引入 traceback 包，在某个函数中执行 traceback.print_stack()。 转载于:https://www.cnblogs.com/yourstars/p/8448471.html
（转）修改ETM,用Ogre实现《天龙八部》地形与部分场景详解（附源码）
本文主要讲的是《天龙八部》游戏的地形和一部分场景的具体实现，使用C, Ogre1.6，我摸索了段时间，可能方法用的并不是最好的，但好歹实现了。文章可能讲得有点罗嗦，很多简单的东西都讲了。我是修改了ETM（Edita…
【Qt】错误GL/gl.h: No such file or directory的解决方法（以及cannot find -lGL解决方法）
1、问题描述 QtCreator第一次编译时，报错GL/gl.h: No such file or directory 错误信息如下： /home/Qt5.6.3/5.6.3/gcc_64/include/QtGui/qopengl.h:136: error: GL/gl.h: No such file or directory include <GL/gl.h> ^2、原因分析 说明系统里…
java并发之同步辅助类CyclicBarrier和CountDownLatch
CyclicBarrier 的字面意思是可循环使用（Cyclic）的屏障（Barrier）。它要做的事情是，让一组线程到达一个屏障（也可以叫同步点）时被阻塞，直到最后一个线程到达屏障时，屏障才会…
投稿近2000，NAACL 2019接收率仅为22.6%|附录取论文名单
整理 | 若名 出品 | AI科技大本营（ID:rgznai100） 人工智能的现状及今后发展趋势如何？ https://edu.csdn.net/topic/ai30?utm_sourcecsdn_bw 最近真是学术界公布论文产出结果的火热时期，距离计算机视觉领域的顶级盛会 CVPR 2019…
Lucene.Net无障碍学习和使用：索引篇
项目中可能需要再次用到Lucene.Net，利用空闲时间写了个demo，主要涉及到索引的创建、删除、更新和一个简单查询。在本文示例中，Lucene.Net的版本是2.4.0，某些类和方法与最新版本或者较旧的版本有较多不同，希望您阅读顺利…
【ubuntu】vim中鼠标选中时变成 可视模式，不能复制的解决方法
1、问题描述 配置好vim后，打开一个文件，鼠标选中文本时，选中的内容变成可视模式。 可视模式，不能将选中内容复制到剪切板 2、解决方法 在用户根目录下，打开 .vimrc ~$ vi .vimrc 将set mousea 删除或注释掉 3、我的…
Ruby11 拾遗
Agenda LoopExpressionFile Read/WriteDebugProcess & ThreadLoop while a 10 while a > 0puts aa - 1 enduntil a 100until a 0puts aa - 1 endloop a 10loop dobreak if a < 0puts aa - 1 end循环控制 breaknextbreak for x in 1..10break if x 5puts x endne…
CVPR2019|微软、中科大开源基于深度高分辨表示学习的姿态估计算法
作者 | 周强（CV君） 来源 | 我爱计算机视觉（公众号id：aicvml） 如何挑战百万年薪的人工智能！ https://edu.csdn.net/topic/ai30?utm_sourcecsdn_bw 昨天arXiv出现了好几篇被CVPR 2019接收的论文。 其中来自…
本地连接受限制或无法连接怎么办？
一个非常常见的问题，就是我们家用电脑安装宽带后，任务栏上的“本地连接”图标有一个的叹号。查看状态：“受限制或无连接”，点“修复”却无法修复，显示无法获取IP地址，获得私网地址！但ADSL又可以…
糟心！苹果无人车裁员190人，程序员却首当其冲
整理 | 琥珀 出品 | AI科技大本营（ID:rgznai100） 60s测试：你是否适合转型人工智能？ https://edu.csdn.net/topic/ai30?utm_sourcecxrs_bw 仅过了一个多月，苹果公司自动驾驶部门裁员的真相便已浮出水面，该…
【工具】Internet Download Manager( IDM )抓取站点
软件说明： 扒网站的好东西，免费，支持中文 下载地址（官网） http://www.internetdownloadmanager.com/ 使用方法 https://jingyan.baidu.com/article/a681b0de0be10b3b1943465d.html
2010-12-30
I want to invest in stocks to make a quick buck.我想炒股，尽快赚点儿钱花１、Which company are you going to invest in?那你打算买什么股？２、Dont put all your eggs in one basket造成不要孤注一掷。３、You need…
PFLD：简单、快速、超高精度人脸特征点检测算法
作者 | 周强（CV君） 来源 | 我爱计算机视觉（公众号id：aicvml） 60s测试：你是否适合转型人工智能？ https://edu.csdn.net/topic/ai30?utm_sourcecxrs_bw 什么样的算法才是好算法？ 真…
Cookie实现记住密码、自动登录
前端代码 <form id"form" action"xxx" method"post"><div><input type"text" name"account" id"account" placeholder"账号"><input type"text" name"pwd" i…
【Ubuntu】VirtualBox+ubuntu中显示摄像头
1、下载插件 https://www.virtualbox.org/wiki/Downloads 2、修改下载的插件的后缀 将后缀名改为vbox-extpack 如下载的插件为Oracle_VM_VirtualBox_Extension_Pack-5.2.14.txt，改为Oracle_VM_VirtualBox_Extension_Pack-5.2.14.vbox-extpack 3、安装插件 点击…
以SIGSEGV为例详解信号处理(与栈回溯)
以SIGSEGV为例详解信号处理(与栈回溯) 信号是内核提供的向用户态进程发送信息的机制, 常见的有使用SIGUSR1唤醒用户进程执行子程序或发生段错误时使用SIGSEGV保存用户错误现场. 本文以SIGSEGV为例, 详细分析信号使用方法, 内核信号的发送与接收机制. 1. 信号处理例程 以下是一…
十个jQuery图片画廊插件推荐
2019独角兽企业重金招聘Python工程师标准>>> jQuery的画廊插件可以将分组图像和多媒体资料转成类似Flash的图像或照片。当幻灯片已经成为网站的重要组成部分，jQuery的重要性不能被忽视。下面为你介绍了10个最有美感，创新性和创造性的jQuery图…
总结机器学习优质学习文章Top50！
整理 | Jane出品 | AI科技大本营（公众号id：rgznai100）在过去一年里，我们每个月都会给大家推荐一些优质的、最新的机器学习研究成果或机器学习技术文章，很多文章是从近千篇文章中评选出来的。综合考虑这些文章的更新时间…
【Qt】ubuntu QtCreator的pro文件中使用pkg-config
试验环境 ubuntu14.04.5 opencv2.4.13.6 Qt Creator 4.0.3 Qt 5.6 使用方法 在pro文件中，添加opencv头文件路径 INCLUDEPATH /usr/local/opencv2.4.13.6/include 添加pkg-config –libs opencv CONFIG link_pkgconfig PKGCONFIG opencv 可以在命令行下…
弯曲评论上关于SOC的一段文章【整理】
近几天，弯曲评论上针对一个文章进行了热烈的讨论。这个文章本无关乎SOC，不过，有业界同仁willchen将话题引到了SOC上，并发表了一番言论，整理如下（BTW，看着willchen的文字，让我想到了s…
C# richtextbox 自动下拉到最后 方法 RichTextBox读取txt中文后出现乱码
C# richtextbox 自动滚动到最后 光标到最后 自动显示最后一行 private void richTextBox1_TextChanged(object sender, EventArgs e) { richTextBox1.SelectionStart richTextBox1.TextLength; // Scrolls the contents of the control to the current car…
【Qt】在Qt中使用opencv，不要使用opencv创建窗口
问题描述 在ubuntu14.04.5 Qt5.6中使用opencv创建窗口显示摄像头时，报错： (:1103): Gtk-WARNING **: gtk_disable_setlocale() must be called before gtk_init() (:1103): GLib-CRITICAL **: Source ID 52 was not found when attempting to remove …
曝贾扬清第二跳，加入阿里！达摩院或将承载中国下一个AI愿景？
整理 | Jane出品 | AI科技大本营（公众号id：rgznai100）无论是国外还是国内，AI 界的人才动向一直是大家关注的焦点，从 2017 年3 月，吴恩达离职百度，开启创业之路；2018 年 9 月…
excel表格出问题了
我excel文件出问题，所有sheet表的N2表格内容自动替换成了几个固定的文字，出现两次了，第一次我手工改回来了，这有出现了第二次，我不知道是病毒原因，还是其他原因，应该不是我误操作，一…