10万人的1000万张图像，微软悄然删除最大公开人脸数据集
作者 | 神经小姐姐
转载自HyperAI超神经（ID：HyperAI）
前几日，微软静悄悄地删除了一个公开的名人图片数据集。这个本为世界上最大的公开人脸识别数据集，现在已经不能通过微软的渠道访问。
这个数据集包含了 10 万张名人面部图像，常被用来作为人脸识别的训练。对于微软删除的真实原因，我们不得而知，但其背后牵扯到的数据隐私问题，包括人脸识别技术的安全规范，都值得一番深思。
在这次「静默」删除行为背后，又牵扯到了哪些问题呢？
微软想解决的麻烦：MS Celeb 名人数据集
MS Celeb 1M 数据集，最早是微软在 2016 年发布，其中共包含了 10 万个名人，近 1000 万张面部图片，而这些数据都是从网络上搜集而来。
从网络中 100 万个名人中，根据受欢迎程选出 10 万个，然后利用搜索引擎，跳出每个人的大约 100 张图片，就得到了这个庞大的数据集。
MS Celeb 数据集中的 Jobs 图片，其中绿色是年轻时代的图片，红色是合成图像
而这个数据集最初是用来服务比赛的。MSR IRC 是世界上最高水平的图像识别赛事之一，MS Celeb 1M 数据集最初就是这个赛事所用。
MS Celeb 1M 常被用来做面部识别的训练。但对于这些图片均来自网络，所以也曾受到了质疑。而微软则表示，是根据「知识共享许可 C.C 协议」，来抓取和获得这些图像的。
根据协议，可以将照片重新用于学术研究，（照片中的人物并不一定授权许可，而是版权所有者授权。）但微软发布数据集后，却并不能掌管它的使用。英国「金融时报」进行了一项深入调查，结果表明数据被大量的用在了多个企业测试中。
包括 IBM，松下，阿里巴巴，Nvidia 和日立等公司，都存在使用这个数据集的情况。
而这就涉及到了数据集使用的一些规范性问题，一位研究人员还指出，这涉及到人脸识别图像数据集的伦理，起源和个人隐私等问题。
微软为何悄然删除公开人脸识别数据集
微软已经在线上默默地删除了MS Celeb 1M，并没有特别的说明原因。
Github 上数据集的下载页面已经变成了 404
在金融时报的报道中，微软表示，「该网站主要目的是用于学术，由一名前员工负责运营，之后我们移除了该网站。」
我们都相信肯定有其他原因，可能也有数据集图片存在的问题。虽然微软称数据集均来自于公众人物的照片。但其中还包括少量非知名人物。这部分人脸照片的所有者，对微软使用他们的名称和图像信息，曾提出过质疑和批评。
还有技术人员推测，微软可能会因违反欧盟《通用数据保护条例》（GDPR）而删除数据，该法规于去年生效，旨在建立起数据安全的保护措施。
GDPR对个人信息的保护及其监管，达到了前所未有的高度
但微软表示，它们没有涉及到 GDPR 的条款，数据集相关网站退役只是因为，「曾经的竞赛已经结束」。
当然，此次微软移除 MS Celeb 数据集，并不妨碍它在学术研究等途径的正常使用。那些用于处理数据库的工具，现在也可正常访问。
常用公开数据集，也可能有隐私问题
在英国「金融时报」调查之后，还有另外两个学术单位也删除了相关的数据集：分别是杜克大学的 Duke MTMC 监控数据集，和斯坦福大学的 Brainwash 数据集。
关于数据集和隐私问题，这不是第一次进入人们的视野。在今年 1 月底，IBM 发布了百万级别的无偏见「人脸多样性」数据集，就曾引发了广泛的争议。
虽然 IBM 强调此举是为减少面部识别中的「偏见」问题，但数据集的来源，人物的是知情度等问题，都引发了不少质疑声。
有媒体还报道， IBM 表示会按照被摄影者的意愿，删除数据集里的相关照片，但都只是一面之词，并没有实际的行动。
今年 5 月，旧金山曾颁布法令，禁止政府机构使用人脸识别技术
对于数据集的采集和使用规则，还是一个很不太明确的区域，尤其是网络便利之后，很多机构都能轻易地获得大量图片，用于面部识别等用途。
其实，对于数据集涉及的隐私问题，解决方案可以很简单：关乎到用户个人隐私信息时，应保证用户的知情权，确保用户是否愿意贡献数据。
但似乎缺少的从来都不是方法，而是意识。
（*本文为 AI科技大本营转载文章，转载请联系原作者）
◆
精彩推荐
◆
参与投稿加入作者群，成为全宇宙最优秀的技术人~
6月29-30日，2019以太坊技术及应用大会 特邀以太坊创始人V神与以太坊基金会核心成员，以及海内外知名专家齐聚北京，聚焦前沿技术，把握时代机遇，深耕行业应用，共话以太坊2.0新生态。
扫码或点击阅读原文，既享优惠购票！
推荐阅读
谷歌用1.2万个模型“推翻”现有无监督研究成果！斩获ICML 2019最佳论文
“篡改”视频脚本，让特朗普轻松“变脸”？AI Deepfake再升级
从0到1：Web开发绕不开的WSGI到底是什么？
24式，加速你的Python
基于智能演化算法，Ta在重新定义知识社交
回报率850%? 这个用Python优化的比特币交易机器人简直太烧脑了...
Spark精华问答 | RDD的核心概念是什么？
阿里腾讯进击韩国互联网
面试阿里技术岗，竟然挂在第4 轮……
你点的每个“在看”，我都认真当成了喜欢相关文章：
密码学原理学习笔记
攻击的类型: 唯密文攻击(COA)：攻击者只知道密文 已知明文攻击(KPA)：攻击者知道同一密钥下密文对应的明文。 选择明文攻击(CPA)：攻击者可以事先任意选择一定数量的明文，让被攻击的加密算法加密，并得到相应的密文。 选择…
终于申请博客了
今天终于下定决心在51CTO博客安家了。以后要坚持不断的写博客。以此来督促自己不断的学习和总结。把自己所掌握的技术和过往经验总结出来。转载于:https://blog.51cto.com/weijishui/971044
一种二维条码图像处理流程
目前，二维条码主要分两类： (1)、堆叠式二维条码：PDF417、Code 49； (2)、矩阵式二维条码：QR Code、Maxicode、Data Matrix。 本条码类似于Maxicode，处理过程大致为： (1)、图像灰度化ÿ…
vue中 静态文件引用注意事项
（一）assets文件夹与static文件夹的区别区别一：assets文件是src下的，所以最后运行时需要进行打包，而static文件不需要打包就直接放在最终的文件中了区别二：assets中的文件在vue中的template/style下用../这种…
百度AI快车道—企业深度学习实战营，推荐系统主题专场即将开课
身处信息过载的时代，在各大门户网站上，每天会有十万左右的新闻报道产出，京东淘宝等购物平台每小时就有上百万的商品上架出售，在B站、优酷、爱奇艺、搜狐等视频网站上每秒就有几百个小时的视频上线。所有人都正在经历一场信息变革。…
SIFT特征提取算法总结
转自：http://www.jellon.cn/index.php/archives/374 一、综述 Scale-invariant feature transform(简称SIFT)是一种图像特征提取与匹配算法。SIFT算法由David.G.Lowe于1999年提出，2004年完善总结，后来Y.Ke(2004)将其描述子部分用PCA代替直方…
一步步构建大型网站架构
之前我简单向大家介绍了各个知名大型网站的架构，MySpace的五个里程碑、Flickr的架构、YouTube的架构、PlentyOfFish的架构、WikiPedia的架构。这几个都很典型，我们可以从中获取很多有关网站架构方面的知识，看了之后你会发现你原来的想法很可能…
商汤科技举办病理、放疗两大MICCAI国际挑战赛，推动AI医疗落地
近日，商汤科技宣布将联合衡道病理、上海交通大学医学院附属瑞金医院、西京医院、上海市松江区中心医院举办MICCAI 2019消化道病理图像检测与分割国际挑战赛，联合医诺智能科技、浙江省肿瘤医院举办MICCAI 2019放疗规划自动结构勾画国际挑战赛，…
vue实战(1)——解决element-ui中upload组件使用多个时无法绑定对应的元素
解决element-ui中upload组件使用多个时无法绑定对应的元素 以前写的项目关于图片上传的都是单张或几张图片上传（主要是基于vue的element），图片路径都是固定写的，所以遇见过列表中多个上传图片的问题，先看下常用的形式 …
MVVM开发模式MVVM Light Toolkit中使用事件和参数传递
Light中定义了类GalaSoft.MvvmLight.Command.RelayCommand这个类继承了ICommand方法，实现了其中的方法，Action就是一个方法参数// 摘要: // A command whose sole purpose is to relay its functionality to other objects // by invoki…
harris角点检测与ncc匹配
转自：http://zixuanjinan.blog.163.com/blog/static/11543032620097510122831/ file1:-------------------------------------------------------------------------------------- function [y1,y2,r,c]harris(X)% 角点的检测，利用harris 算法% 输出的是…
CVPR 2019超全论文合集新鲜出炉！| 资源帖
整理 | 夕颜出品 | AI科技大本营（ID: rgznai100）实不相瞒，这是一个资源福利帖——CVPR 2019 接收论文超全合集！此前关于 CVPR 2019 论文和合集出过不少，但是这个可能是最全面最丰富的，链接奉上：…
ROS 用 roboware实现节点信息发送和接收
在ros下实现节点编程，实现一个节点发送消息，另一个节点接收。实现方式有多种，可以直接在命令窗口创建工作空间包以及节点，用catkin_make进行编译，添加.bash路径，然后执行rosrun package node_name 。这种…
javah生成JNI头文件
Administratoribm /cygdrive/z/workspace/com.example.hellojni.hellojni/src <---- 从此文件夹执行 javah *************** project root dir ******************* *** source dir *** javah -jni -classpath . com.example.hellojni.HelloJni*** package name *** ** c…
【码书】一本经典且内容全面算法书籍，学算法必备
之前推荐了好几本算法书，有《啊哈！算法》，有《算法图解》，有《漫画算法》，也有《我的第一本算法书》，很多粉丝不乐意了，觉得我推荐了这么多算法书籍，竟然没有经典算法书籍《算法导论…
Ubuntu16.04.1 安装Nginx
Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证…
linux下jboss的安装配置
闲来无事突然间想到和tomcat相同的java容器jboss，就想测试一下jboss和tomcat性能的差异之处。但是之前只安装过tomcat，想来跟tomcat安装方式应该是相同的都需要jdk的支持。查找资料后进行了安装。一下是我安装jboss的一些步骤：Linux版本&…
RANSAC鲁棒参数估计
转自：http://blog.csdn.net/zhanglei8893/archive/2010/01/23/5249470.aspx RANSAC 是"RANdom SAmple Consensus"的缩写。该算法是用于从一组观测数据中估计数学模型参数的迭代方法，由Fischler and Bolles在1981 提出，它是一种非确…
AlphaGo之父DeepMind再出神作，PrediNet原理详解
作者 | beyondma转载自CSDN博客近期，DeepMind发表论文，称受Marta Garnelo和 Murray Shanahan的论文“Reconciling deep learning with symbolic artificial intelligence: representing objects and relations”启发，他们提出了一种新的架构…
php中file_get_contents如何读取大容量文件
php中file_get_contents如何读取大容量文件 一、总结 一句话总结：使用file_get_contents()进行分段读取，file_get_contents()函数可以分段读取 1、读取大文件是，file_get_contents()函数为什么会发生错误？ 发生内存溢出而打开错误…
Vmware虚拟机的复制后无法使用的问题和解决
为什么80%的码农都做不了架构师？>>> 我在自己的机器上用Vmware安装的Ubuntu 12.04系统，并在里面部署了Openstack的开发环境，部署的过程有些复杂，不希望再次重复这个过程，于是就复制整个的虚拟机文件到其他…
Facebook频谱图模型生成比尔·盖茨声音，性能完胜WaveNet、MAESTRO
作者 | James Vincent 等编译 | 夕颜、Monanfei出品 | AI科技大本营（ID:rgznai100）计算机生成语音领域，正在酝酿着和一场革命。Facebook 工程师们设计创建的机器学习模型 MelNet 就是一个启示。下面这段听起来怪异的话像极了比尔盖茨是吧&…
数据表设计的原则
如何设计数据表： 三个范式 ER图
图像配准----Harris算子
Harris算子是C.Harris和M.J.Stephens在1988年提出的一种特征点提取算子。它用一阶偏导来描述亮度变化，这种算子受信号处理中自相关函数的启发，给出与自相关函数相联系的矩阵M。M矩阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高&#…
关于ORA-01950: no privileges on tablespace 的解决
前天晚上，本想在家里搭一个公司项目的开发环境，以便在工作忙的时候做点“家庭作业”。下班之前，通过PLSQL Developer导数据库时，不知道什么原因，以.dmp格式导出时总不成功，于是选择以.sql格式导出ÿ…
继往开来！目标检测二十年技术综述
作者 | 周强来源 | 我爱计算机视觉（id：aicvml）计算机视觉中的目标检测，因其在真实世界的大量应用需求，比如自动驾驶、视频监控、机器人视觉等，而被研究学者广泛关注。几天前，arXiv新出一篇目标检…
python+selenium百度贴吧自动签到
#-*- coding:utf-8 -*- from selenium import webdriver import time import os import random from selenium.webdriver.common.action_chains import ActionChainsbrowser webdriver.Chrome()# 最大等待加载完的时间 max_loading 600 # 延时随机n秒执行 wait_time random.…
图像配准----NCC
在用Harris算子对图像进行角点提取后，两幅图像得到的角点个数不一定相等，这时就要先对它们进行处理，得出一一对应的角点对。 归一化互相关(Normalized Cross Correlation method, NCC)匹配算法是一种经典的统计匹配算法，通过计算模…
Ext Scheduler Web资源甘特图控件
原文来自 http://www.fanganwang.com/Product-detail-item-1430.html欢迎转载。 关键字： 资源甘特图又叫负荷图，其纵轴不再列出活动，而是列出整个部门或特定的资源。 Ext Scheduler资源甘特图是基于Extjs核心库的开发的，基于WEB浏…
50行代码教AI实现动作平衡 | 附完整代码
作者 | Mike Shi译者 | linstancy责编 | Jane出品 | AI科技大本营（id：rgznai100）【导读】本文将为大家展示如何通过 Numpy 库和 50行 Python 代码，使用标准的 OpenAI Gym平台创建智能体 (agent)，就教会机器处理推车杆问…