68款大规模机器学习数据集，涵盖CV、语音、NLP | 十年资源集
参加 2019 Python开发者日，请扫码咨询 ↑↑↑
作者 | 琥珀
出品 | AI科技大本营（ID:rgznai100）
此前营长为大家分享过不少机器学习相关数据集的资源，例如 Mozilla 的 1400 小时开源语音数据集；ApolloScape 的大规模自动驾驶数据集；腾讯 AI Lab 的 “Tencent ML-Images” 项目，甚至还有谷歌团队推出的 Google Dataset Search（Google 数据集搜索）……
对于日常从事模型训练的研究人员来讲，无论是图像处理还是语音识别，都离不开一些高质量的数据集，通过它们以改善模型的性能。
近日，reddit 论坛上，一位网友发帖分享了 datasetlist.com 的网站链接，得到了不少同行们的点赞。据了解上面集合了从 2009 年 ImageNet 发布以来共计 68 项机器学习相关的大规模数据集，囊括计算机视觉（46 项）、自然语言处理（18 项）、语音（4 项）三大类别，帮助用户快速找到相应的数据集。由此，我们还可以看到自 2015 年以来，大规模数据集的不断涌现也暗示着人工智能技术作为集大成者的快速演进。
这套数据集搜索列表的出现，也满足了不少强迫症患者对于选择 / 整理数据集的想法。不过，也正如这位网友所言：这个数据集列表的形式将有待完善和丰富，设计这个网页的目的也是希望接下来不断更新新的数据集，同时，用户也可以通过邮箱、Twitter、Facebook 等方式订阅以获取最新内容。
下面，让营长介绍下该数据集列表的主要内容：
语音识别：
Mozilla Common Voice
2019 年 3 月 1 日，由 Mozilla 基金会发起的 Common Voice 项目，发布新版语音识别数据集，包括来自 42000 名贡献者，超过 1400 小时的语音样本数据，涵盖包括英语、法语、德语、荷兰语、汉语在内的 18 种语言。
地址：https://voice.mozilla.org/zh-CN
NSynth
Google Audioset
LibriSpeech
计算机视觉
IBM Diversity in Faces Dataset
IBM 推出的“人脸多样性”（Diversity in Faces Dataset，DiF）是一个庞大而多样化的数据集，与以前的数据集相比，DiF 数据集提供了更均衡的分布和更广泛的面部图像覆盖率。DiFferences 提供了 100 万注释的数据集人类面部图像。
地址：
https://www.research.ibm.com/artificial-intelligence/trusted-ai/diversity-in-faces/
NVIDIA Flickr-Faces-HQ 数据集
英伟达推出的 Flicker 人脸高清数据集（FFHQ）由 70,000 个高质量的 PNG 格式图像组成，分辨率为 1024*1024。这些图片在年龄、种族和图像背景方面有很强的多样性，并且还有如眼镜、太阳镜、帽子等元素。
地址：
https://github.com/NVlabs/ffhq-dataset
Google Open Images V4
Open Images 是一个包含约 900 万个 URL 的数据集，由谷歌在 2018 年 4 月 30 日开放，它包含在 190 万张图片上针对 600 个类别的 1540 万个边框盒。
地址：
https://storage.googleapis.com/openimages/web/index.html
Tencent ML- Images
Tencent ML- Images 是最大的开源多标签图像数据集，包括 17,609,752 个训练和 88,739 个验证图像 URL，最多可注释 11,166 个类别。
地址：
https://github.com/Tencent/tencent-ml-images
Youtube-8M 2018
Youtube-8M 2018 是一个大型标记视频数据集，由 600 万个 YouTube 视频 ID 组成，目前具有 4700 多个视觉实体标签，同时它还配备了数十亿帧和音频片段的预先计算的视听功能。
地址：
https://research.google.com/youtube8m/index.html
Fashion MNIST
Fashion-MNIST 由德国研究机构 Zalando Research 公布，包含 60000 个样本，测试集包含 10000 个样本，分为 10 类，每一个都是 28×28 的灰度图。
地址：
https://github.com/zalandoresearch/fashion-mnist
当然，此外还有 MegaFace、ImageNet 等非常经典的数据集，以下营长就不一一列举了。
GQA
Berkeley Deep Drive (BDD100K)
HighD - The Highway Drone Data
Comma 2k19
HD1K Benchmark Suite
VQA Visual Question Answering
ApolloScape
nuScenes
MURA
Synscapes
fastMRI Dataset
Mapillary Vistas
Places2
Youtube-BoundingBoxes
ADE20K
WildDash
Oxford RobotCar Dataset
Recipe1M
MegaFace
SceneNet RGB-D
MS-Celeb-1M
SYNTHIA
UMD Faces
comma.ai
Spacenet
CompCars
ShapeNet
WIDER Face
WIDER
LSUN
Visual Genome
Cityscapes
ACTIVITYNET
COCO
Yahoo Flickr Creative Commons 100M
Pascal part
Flickr30k
KITTI
SVHN Street View House Numbers
ImageNet
自然语言处理
SQuAD
斯坦福问答数据集（SQuAD）是一个全新的阅读理解数据集，由工作人员基于一系列维基百科文章中的提问和答案组成，其中每个问题的答案是来自相应阅读段落的一段文本片段或区间。其中包括超过 500 篇文章中超过 100,000 个问答配对，使得 SQuAD 显著大于以前的阅读理解数据集。SQuAD2.0 结合了 SQuAD1.1 中的 100,000 个问题。
地址：
https://rajpurkar.github.io/SQuAD-explorer/
此外还有：
MultiNLI
CoQA
Spider 1.0
HotpotQA
Question Pairs (Quora)
Yelp open dataset
Facebook bAbI
MS MARCO
NewsQA
Datasets from DBPedia, Amazon, Yelp, Yahoo!, Sogou, a
DeepMind Q&A dataset
Text Classification Datasets
SNLI
Billion Words
Stanford Sentiment Treebank
Large Movie Review Dataset
Princeton WordNet
（本文为 AI科技大本营原创文章，转载请微信联系 1092722531）
◆
精彩推荐
◆
推荐阅读：
数学界“诺奖”Abel Prize迎来首位女性得主
NLP实践：对话系统技术原理和应用
提升效率，这十个Pandas技巧必不可少！
超常用的Python代码片段 | 备忘单
没有新芯片，没有大核弹，黄教主这次给大家带来了个PRADA
淘宝、飞猪、闲鱼都挂了，阿里云却正常？！
要钱还是要命? 比特币正悄悄杀死你...
前阿里 P9 级员工称离婚是模拟测试，已回滚复婚！
教训！学 Python 没找对路到底有多惨？
❤点击“阅读原文”，查看历史精彩文章。
相关文章：
【Qt】Q_PROPERTY()：属性系统
一、简介 Qt属性系统基于元对象Meta-Object系统，因此在使用时，需要继承QObject类并添加宏Q_OBJECT，属性除了具有类成员的功能外，还可以通过元对象系统访问，比如可以使用信号和槽机制。 二、使用方法 在继承QObject的类中，使用宏Q_PROPERTY()来注册属性。 Q_PROPERTY(…
从零开始学 Python 之运算符
从零开始学 Python 之运算符 前言 大家好，这里是「痴海」从零开始学习 Python 系列教程。此文首发于「痴海」公众号，欢迎大家去关注。学习一门语言最好的办法，就是教懂别人。在这公众号，我会从 Python 最基础的教程写起࿰…
今天照了大肚照
今天陪老婆去照了大肚照，本来累了一周了好不容易盼到周六想睡个懒觉，结果比平时起床还早！要去照相！然而一想到俺家小小，我就很激动，为了俺家小小，我一定加倍努力，做一个好爸爸。 …
【Qt】QT_BEGIN_NAMESPACE 和 QT_END_NAMESPACE
在看QtCreator源码时，总遇到QT_BEGIN_NAMESPACE 和 QT_END_NAMESPACE两个宏，源码中对这两个宏的定义伪代码如下 #if !defined(QT_NAMESPACE) # define QT_BEGIN_NAMESPACE # define QT_END_NAMESPACE #else # define QT_BEGIN_NAMESPACE namespace QT_NAMESPACE {# define Q…
Java排序算法：冒泡排序
Java排序算法：冒泡排序//创建数组并赋值int[] data new int[] {11,10,55,78,100,111,45,56,79,90,345,1000};for(int i0;i < arr.length-1;i){for(int j 0; j < arr.length-i-1;j){if(arr[j] > arr[j1]){int temp arr[j];arr[j] arr[j1];arr[j1] temp;…
前腾讯AI Lab负责人张潼加入创新工场，任港科大创新工场联合实验室主任
参加 2019 Python开发者日，请扫码咨询 ↑↑↑整理 | 琥珀出品 | AI科技大本营（ID:rgznai100）不过三个月，前腾讯 AI 主任张潼已对外公布了他离职后的新动态。3 月 20 日，创新工场宣布，张潼博士已加盟创新工场…
ESX上ORACLE 10.2RAC(4.在REHAT4.7中安装ORACLE RAC)
四、 安装CRS软件 上传cluster软件到rac1,rac2的/home/oracle目录下 [rootrac1 ~]# cd /home/oracle [rootrac1 oracle]# ls 10201_clusterware_linux32.zip Desktop ocfs2 oracleasm [rootrac1 oracle]# unzip 10201_clusterware_linux32.zip [rootrac2 oracle]# unzip 10201_…
【Qt中文手册】QObject
Qt几乎所有的类都是从QObject直接或间接继承的，但是你真的了解QObject吗？下面先看看QObject在官方手册中的介绍。 一、QObject简介 1、信号和槽 QObject是所有Qt类的基类，是Qt对象模型的核心。该模型的核心功能是信号和槽的通信机制（有吐槽Qt信号和槽的，个人建议不要用…
整理下.net分布式系统架构的思路
最近看到有部分招聘信息，要求应聘者说一下分布式系统架构的思路。今天早晨正好有些时间，我也把我们实际在.net方面网站架构的演化路线整理一下，只是我自己的一些想法，欢迎大家批评指正。 首先说明的是.net下开源内容较少ÿ…
柔性生态布局未来，小鱼易连 2019“深耕视界逐梦小鱼”北京火爆招募
3 月 21 日，小鱼易连 “深耕视界逐梦小鱼”——2019 春季伙伴招募大会北京站在北京东方美爵酒店成功召开。 小鱼易连联合创始人兼 CEO 袁文辉以“深耕视界逐梦小鱼” 为主题，为到场的四百家合作伙伴和媒体完整展示了小鱼易连全面布局产业互联网…
perl XML创建XML文件
首先安装XML::Writer,XML::Parser等模块 1.执行/usr/bin/perl -MCPAN -e install "YAML" 安装YAML模块 2.进入CPAN模式，进行下载模块操作 $ sudo perl -MCPAN -e shell 3.在CPAN模式下进行安装，nolock_cpan> install XML::Writer XML::Pars…
开发自己的山寨Android注解框架
目录 开发自己的山寨Android注解框架开发自己的山寨Android注解框架 参考 Github黄油刀 Overview 在上一章我们学习了Java的注解(Annotation)，但是我想大家可能感觉，虽然理解了也会学会，但是不知道干什么用，那么请继续忍受我这枯燥…
特斯拉起诉小鹏汽车员工窃取商业机密，何小鹏回应
参加 2019 Python开发者日，请扫码咨询 ↑↑↑整理 | 琥珀出品 | AI科技大本营（ID:rgznai100）3 月 21 日，外媒 TheVerge 报道称，特斯拉正针对多名前雇员和自动驾驶汽车公司 Zoox 提起诉讼，涉嫌盗用公司商业机…
【Qt】一个使用QEventLoop时，遇到的教训
1、问题描述 伪代码如下： QEventLoop eventLoop; QObject::connect(this, &Class::signal, [](){doSomething();eventLoop.exit(0); }); emit signal(); eventLoop.exec();在执行eventLoop.exec()时，造成永不退出。 2、原因分析 本打算在&#x…
基于kryo序列化方案的memcached-session-manager多memcached...
为什么80%的码农都做不了架构师？>>> 上次基于Java IO的序列化方案配置了memcached-session-manager，但是性能不好，现在先简单配置成基于kryo的 Xml代码 <Context path"/mobilemail" docBase"D:\webapp\WebR…
Python持续点火，跟进还是观望？
参加 2019 Python开发者日，请扫码咨询 ↑↑↑Python 这把火，到底烧了多久了？近日，李笑来带着他的 Python 编程书，一路狂收 Star、Fork，火速登顶 GitHub Trending 榜，直接 C 位出道。币圈大佬也玩…
win2d 图片水印
win2d 图片水印 本文告诉大家如何使用 win2d 给图片加上水印。 安装 首先需要使用 Nuget 安装 win2d ，安装参见win10 uwp win2d 如果没有更新 dot net core 那么在运行可能会出现下面异常System.TypeLoadException: Requested Windows Runtime type Microsoft.Graph…
【Qt】QtCreator中的单例编程（以ActionManager为例）
1、ActionManager简介 ActionManager类负责注册菜单和菜单项以及键盘快捷键。 ActionManager的公共函数都是静态的，只有使用信号时，才用到单例。 2、ActionManager单例伪代码 头文件中将构造函数和析构函数设置成私有（private），使用instance()函数获取单例 class Acti…
37、C++ Primer 4th笔记，特殊工具与技术，类成员指针
1、成员指针（pointer to member）包含类的类型以及成员的类型。成员指针只应用于类的非static成员。static类成员不是任何对象的组成部分，所以不需要特殊语法来指向static成员，static成员指针是普通指针。通过指定函数的返回类型&a…
聊一聊javascript执行上下文
跟大家聊聊js的执行上下文 一，相关概念 EC : 执行上下文 ECS : 执行环境栈 VO ： 变量对象 AO ： 活动对象 scope chain ：作用域链 二，执行上下文 javascript运行的代码环境有三种： 全局代码：代码…
【Qt】QtCreator中使用ActionManager类管理标题栏(MunuBar)、菜单(Menu)和菜单中的项目(Action)
1、简介 QtCreator中使用ActionManager类管理标题栏(MunuBar)、菜单(Menu)和菜单中的项目(Action)，下面以创建“New”动作为例，介绍ActionManager的使用方法，后续会详细分析ActionManager。 2、创建标题栏(MunuBar) const char MENU_BAR[] = "QtCreator.MenuBar&quo…
和达摩院深度绑定，阿里云下一个十年，成为“云上的阿里巴巴”
参加 2019 Python开发者日，请扫码咨询 ↑↑↑整理 | 非主流出品 | AI科技大本营（ID:rgznai100）2009 ～ 2019，阿里云已经走过了 10 年时光。在此次的阿里云峰会北京站上，为阿里云的站台的是张建锋。去年 11 月…
如何用TF Object Detection API训练交通信号灯检测神经网络？
参加 2019 Python开发者日，请扫码咨询 ↑↑↑作者简介：申泽邦（Adam Shan），谷歌认证机器学习专家（Google Developer Expert），兰州大学智能驾驶团队技术负责人，硕士在读。文…
iOS progressive Web App (PWA) 技术
随着 iOS 11.3 的发布，iOS PWA 的时代终于来了！本文对 iOS 中 PWA 的能力进行了分析，并将其与 iOS 上的 Native App、Android 上的 PWA 进行了深度对比，是值得收藏的一篇好文。 随着 iOS 11.3 的发布，苹果悄悄的支持了…
VS新建类自动添加版本注释
我们开发的时候习惯在代码顶部加上自己的版权说明。 每次拷贝挺麻烦的，上网查了一下，2003的介绍但不少。但08的模板生成方式好像改变了 后来2005的一篇介绍给了我一点提示。原来模板文件放在common7目录下。 主要分为ProjectTemplates和ItemTemplates&am…
【linux】shell中整数运算的加、减、乘、除
1、使用双括号“(( ))” shell中变量实现加法的方法 d $(($d 2)) 例子如下 #!/bin/bash d0 echo "d$d"for((i1;i<10;i)); do d$(($d 2)) echo "d$d" done unset d((i$j$k)) 等价于 iexpr $j $k ((i$j-$k)) 等价于 iexpr $j -$k ((i$…
简单使用PDO
2019独角兽企业重金招聘Python工程师标准>>> 首先基本配置： 连接MYSQL <?php $dsn mysql:hostlocalhost;dbnameworld;; $user user; $password secret; try { $dbh new PDO($dsn, $user, $password); } catch (PDOException $e) { echo Connecti…
一文看懂模糊搜索1.0到3.0的算法迭代历程
参加 2019 Python开发者日，请扫码咨询 ↑↑↑作者 | 宋广泽责编 | 郭芮来源 | CSDN（ID：CSDNnews）前一段时间在Linux上用C语言做了一个信息管理系统，初始版本的搜索就是直接使用了C语言库文件<string.h>里的库函数…
【linux】shell中浮点数运算的加、减、乘、除
bash 不支持浮点运算，如果需要进行浮点运算，需要借助bc,awk 处理。 1、bc #!/bin/bash#加 f$(echo "4.32.5"|bc) echo "4.32.5$f"#减 f$(echo "4.3-2.5"|bc) echo "4.3-2.5$f"#乘 f$(echo "4.30*2.50&qu…
页面加载和解析流程
输入url,浏览器向服务器发出请求，服务器返回html文件，浏览器开始载入html代码，发现head标签有link标签引入外部的css文件，浏览器发出css文件的请求，服务器返回这个css文件，浏览器继续载入body中的代码&…