深度学习面临天花板，亟需更可信、可靠、安全的第三代AI技术|AI ProCon 2019
整理 | 夕颜
出品 | AI科技大本营（ID:rgznai100）
在人工智能领域中，深度学习掀起了最近一次浪潮，但在实践和应用中也面临着诸多挑战，特别是关系到人的生命，如医疗、自动驾驶等领域场景时，黑盒的不可解释性、安全等一系列问题仍然是产学研界关注的焦点问题。
2019 年 9 月，由新一代人工智能产业技术创新战略联盟（AITISA）指导，鹏城实验室、北京智源人工智能研究院支持，专业中文 IT 技术社区 CSDN 主办的 2019 中国 AI 开发者大会（AI ProCon 2019）在北京顺利举行。短短 3 天之内，60+ 人工智能领域专家和领导者相聚北京，加入了这场属于 AI 开发者的盛大狂欢，探讨机器学习、自然语言处理、计算机视觉、AI+DevOps 和 AI+ 小程序等多个不同技术专题里开发者最关心的问题。
在机器学习技术专场，Real AI（瑞莱智慧）的 CEO 田天发表了题为《第三代AI思考与实践》的演讲，分享了自己对深度学习的反思。这家成立仅一年左右的公司孵化于清华大学人工智能研究院，专注于第三代人工智能技术研究以及应用落地。
报告伊始，田天首先介绍了 RealAI 公司，表示该公司名称表达了一个理念：希望做一些与现在市场上主流的深度神经网络不同的 AI 技术。随后，田天用实际案例指出，当今以深度学习为代表的 AI 算法仍然存在很多局限性，面对这些局限性，RealAI 采用贝叶斯深度学习方法，带来更加可信、可靠、安全的 AI 算法。他还讲到 AI发展的现状，以及 AI 经历第一代、第二代和第三代以来发生的变化。最后，他还总结了第三代 AI 将带来大量全新的应用场景与商业价值。
关于第三代人工智能，RealAI 还有哪些思考和实践，让我们从田天的演讲中梳理一下。
人工智能发展现状
现在，大家讲的AI主要是指深度学习等技术，我们要讲第三代人工智能，需要首先回顾一下什么是第一代和第二代人工智能技术。
人工智能发展历程有很多不同的划分方法，从我们的角度，可以划分为两个阶段，第一代是知识驱动的符号模型，最典型的是逻辑专家系统，它能够基于规则狭义定义任务系统。现在看来，符号模型的可解释性非常强，但同时也存在一些问题，比如基于规则和知识驱动的系统很难做到大规模，系统做大需要总结大量的规则给到系统，但因为人工精力有限，不可能穷尽所有的知识，因此这种方式无法解决大规模、大数据时代的问题。这是第一代知识驱动型的符号系统。
最近一段时间大家都做数据驱动型 AI，包括早期的浅层统计学习方法、现在最热门的深度学习方法，都属于第二代人工智能。它的特点是从数据内部，不是由人提取知识编写程序，而是由程序或神经网络自动从数据中提取经验和规则，来完成未来的决策任务。它的好处是可以面对大规模数据，并且随着数据量增大，模型的判别能力、学习能力会变得越来越强。但它同时也存在一些问题：一般依赖于大量高质量数据，不能适应不断变化的条件，算法的可解释性也非常差。
当前的AI困境
现在，以深度神经网络为代表的第二代 AI 算法存在基本方法层面的问题，我们比较关注的有三点：不可靠、不安全、不可信。
不可靠主要指的是现行 AI 算法非常依赖数据，基于大量样本，每个样本要有对应标签，它的好处是可以做大数据分析，缺点是算法非常依赖数据，算法在训练数据覆盖到的场景上往往可以给出非常好的预测结果，包括人脸识别等都已经取得了很好的效果。但对于训练数据没有覆盖到的场景，算法有时会给出让人匪夷所思的错误，特别是在实际应用场景中可能带来危害的领域，比如无人车领域，特斯拉、Uber 等都出过事故，部分原因是由于 AI 识别或预测算法出错。这是第二代神经网络本质上的缺陷。
不可靠主要指的是算法正常应用时存在的问题，不安全则是指当一些黑客或有恶意动机的人想恶意破坏算法时，神经网络方法非常脆弱，比如对抗噪声可以误导图像识别算法，给出错误的结果。这项技术如果使用在更加广泛的关键场景 AI 系统上，会带来非常大的危害。
不可信源于深度神经网络的不可解释性。随着网络变得越来越复杂，特别是网络结构搜索技术的诞生，这种网络结构对于人来说根本不可理解，当将其应用到一些比较关键的场景中，如医疗或金融场景，做比较重要的决策时，决策者很难信任神经网络给出的结果，因为神经网络并不会百分之百给出准确的结果，在算法不可理解的情况下，人并不知道算法何时会出错，因此很难做出关键决策。
在这种情况下，清华大学提出了第三代人工智能的概念。2016 年清华大学张钹院士做了题为的“后深度学习时代的人工智能”的报告，后来进一步总结为第三代人工智能。
相比于第一代和第二代，第三代人工智能是知识驱动+数据驱动，特点有三个：第一是可信，算法能够提供白盒化模型和可理解的决策依据；第二是可靠，能够在各种情况下实现预测效果可靠提升；第三是安全性，算法在受到恶意攻击，或存在缺陷样本时，仍然保持较高的判断能力。如果符合这三点，我们认为就属于第三代人工智能。
RealAI业务实践
前面主要介绍了第三代人工智能的理念/目标，接下来介绍目前我们针对此目标进行的实践和应用。
首先，上图表示在实现了第三代人工智能，或者是在安全、可靠、可信上实现突破之后，我们究竟可以有哪些应用。
比如当安全性更强时，我们可以实现更好的安防监控，实现更安全的监控，就可以对现行安防系统进行升级换代。现在的人脸识别技术在安全性场景下存在很大威胁，我们需要对它进行升级和保护。
在可靠性方面，工业制造、自动驾驶等领域都存在可靠性的问题。比如在工业制造领域，场景碎片化非常严重，这会导致样本不足或标注质量差，对此，必须用新的方法进行升级，才能使得算法在有噪音的数据上也能取得有价值的结果。同样地，自动驾驶在训练数据没有覆盖的情况下，需要提高算法的判断能力。
在可信性方面，如在我们现在所关注的金融信贷风控、智能投顾、医疗诊断等场景，需要提供更多可以让人理解的判断依据，以指导帮助人们做出决策。
为了实现这些目标，可以探索尝试很多不同的技术路径，RealAI 主要选择的方向是贝叶斯深度学习，即将深度神经网络与贝叶斯机器学习相结合。
贝叶斯机器学习是传统的人工智能方法，甚至比深度学习神经网络出现更早，该方法以贝叶斯定理为核心，好处是可以将人的经验知识引入到决策里，进行不确定性计算。近期，贝叶斯机器学习领域有很多发展。
贝叶斯机器学习一个典型的优势是对隐含变量的建模与推断，揭示背后规律。通过贝叶斯网络方法，基于图论的结构化先验知识，可以提升模型表达的灵活性，提高学习效率。与之相对的，深度神经网络有超强的拟合能力，可以对一些我们未知的分布和关系可以做精准的拟合，将两者结合的贝叶斯深度学习方法，可以实现目前单独通过两者都无法实现的能力。
目前在贝叶斯深度学习领域，我们主要关注三方面的技术，第一个是深度生成式模型，实现无监督或半监督学习，发现数据深层结构，同时提升可解释性；第二个是贝叶斯神经网络方法，结合神经网络拟合能力与数据不确定性特点，提升预测可靠性；第三个是 AI 安全技术，攻击方面通过添加特定噪声等方法干扰算法输出，防御方面通过 AI 防火墙保护模型。
这是对第三代人工智能技术方向的简单介绍， 目前我们也在进行第三代人工智能应用研发，关注的领域主要集中在金融、工业、安全领域。
在金融领域，我们通过这些比较新的技术解决现行算法解决不了的问题，比如最近我们正在研究一个有趣的问题——风控回捞解决方案，希望通过全新算法实现无偏估计，提升金融机构的大数据风控水平。
在工业制造领域，我们也有应用新的技术。工业制造领域中一个典型的方法是工业视觉检测，在光伏面板、手机面板生产等各个机器很难替代人工的环节，如果可以取代人工可以节省大量成本。但是，工业质检场景不像人脸识别场景，它需要搜集大量不同样本，特别是很难收集的负样本，但是因为生产设备本身可靠性相对较高，产生负样本的频次较低，经过很长时间生产才能采集到数据量足够大的负样本。工业领域质检环节需要专业的生产工人和专家来标注，不同人给出的标准也不完全一样，这导致传统的计算机视觉流程方法无法在工业视觉检测上得到很好的应用。对于这个问题，我们通过半监督主动学习方法来改善，并在逐步研发无监督质检方案。
另外，我们在工业领域的应用还包括工业时序预测，预测工业设备运行过程中是否出现异常。如果能够进行很好的预测，就可以让厂商在设备出现问题之前提早更换，减少维修成本和计划外停机带来的巨大损失。
AI安全领域进展与展望
最后想讲讲人工智能的安全性问题，最近有很多 AI 应用带来大量全新安全问题的案例。
比如最近有家公司做了一个APP，让用户可以在影视片段中把自己的脸换进去，很好玩，但带来了很大的隐私保护问题，有人质疑这是否会存在利用这种技术实现刷脸支付进行攻击。对此，我们主要做了换脸攻击和人脸识别检测，目前来看检测效果不错，但随着新的攻击技术产生，检测技术也面临很多新的挑战，需要大家在人工智能检测领域不断进行技术迭代。
此外，我们还做了针对物体识别、图像识别的隐身术，比如当在一辆卡车模型车身上专门生成对抗噪声贴纸图案，就可以欺骗算法模型，让这辆车“隐身”，在快速移动场景下，车辆的隐身效果也很好。
对于手机来说，正常情况下黑客无法进行人脸解锁，但佩戴我们做的一款眼镜模型之后就可以轻松实现手机解锁，这在目前比较主流的手机上得到了成功验证。
所以，在第三代人工智能时代，我们需要在安全性方面不断探索，新的攻击方法会带来很多新的业务模式，比如 AI 产品安全认证、标准防火墙、一些更安全的 AI 算法等。
为此，清华大学人工智能研究院与我们一同做了RealSafe安全平台，将AI 算法、攻击算法等整合在平台内，让用户快速使用，检测自己的人工智能算法是否存在漏洞，并通过我们提供的标准化算法，提升算法的安全性。
最后，总结一下我今天的演讲，共有三点：
1. 以深度学习为代表的 AI 算法仍然存在局限性，需要我们探索新的领域新的方向。
2. 贝叶斯深度学习方法可以带来更加可信、可靠、安全的 AI 算法。
3. 第三代 AI 将带来全新的商业价值。
（*本文为 AI科技大本营整理文章，转载请微信联系1092722531）
精彩推荐
2019 中国大数据技术大会（BDTC）历经十一载，再度火热来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。【早鸟票】与【特惠学生票】限时抢购，扫码了解详情！
相关文章：
java robot类自动截屏
直接上代码:package robot;import java.awt.Rectangle;import java.awt.Robot;import java.awt.event.InputEvent;import java.awt.p_w_picpath.BufferedImage;import java.io.File;import java.io.IOException;import javax.p_w_picpathio.ImageIO;import com.sun.glass.event…
激活函数之softmax介绍及C++实现
下溢(underflow)：当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同。例如，我们通常要避免被零除或避免取零的对数。上溢(overflow)：当大量级的数被近似为∞或-∞时发生上溢。进一步的运…
parsing:NLP之chart parser句法分析器
已迁移到我新博客,阅读体验更佳parsing:NLP之chart parser句法分析器 完整代码实现放在我的github上:click me 一、任务要求 实现一个基于简单英语语法的chart句法分析器。二、技术路线 采用自底向上的句法分析方法，简单的自底向上句法分析效率不高，常常…
图解Python算法
普通程序员，不学算法，也可以成为大神吗？对不起，这个，绝对不可以。可是算法好难啊~~看两页书就想睡觉……所以就不学了吗？就一直当普通程序员吗？如果有一本算法书，看着很轻松……又有…
详解SSH框架的原理和优点
Struts的原理和优点. Struts工作原理 MVC即Model-View-Controller的缩写，是一种常用的设计模式。MVC 减弱了业务逻辑接口和数据接口之间的耦合，以及让视图层更富于变化。MVC的工作原理,如下图1所示：Struts 是MVC的一种实现࿰…
Numpy and Matplotlib
Numpy介绍 编辑 一个用python实现的科学计算，包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C和Fortran代码的工具包；4、实用的线性代数、傅里叶变换和随机数生成…
梯度下降法简介
条件数表征函数相对于输入的微小变化而变化的快慢程度。输入被轻微扰动而迅速改变的函数对于科学计算来说可能是有问题的，因为输入中的舍入误差可能导致输出的巨大变化。大多数深度学习算法都涉及某种形式的优化。优化指的是改变x以最小化或最大化某个函数f(x)的任务…
微软亚研院CV大佬代季峰跳槽商汤为哪般？
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）近日，知乎上一篇离开关于MSRA（微软亚洲研究院）和MSRA CV未来发展的帖子讨论热度颇高，这个帖子以MSRA CV执行研究主任代季峰离职加入商汤为引子，引…
iOS Block实现探究
2019独角兽企业重金招聘Python工程师标准>>> 使用clang的rewrite-objc filename 可以将有block的c代码转换成cpp代码。从中可以看到block的实现。 #include <stdio.h> int main() {void (^blk)(void) ^{printf("Block\n");};blk();return 0; } 使…
CUDA Samples: Long Vector Add
以下CUDA sample是分别用C和CUDA实现的两个非常大的向量相加操作，并对其中使用到的CUDA函数进行了解说，各个文件内容如下：common.hpp:#ifndef FBC_CUDA_TEST_COMMON_HPP_ #define FBC_CUDA_TEST_COMMON_HPP_#include<random>template&l…
TensorFlow2.0正式版发布，极简安装TF2.0（CPUGPU）教程
作者 | 小宋是呢转载自CSDN博客【导读】TensorFlow 2.0，昨天凌晨，正式放出了2.0版本。不少网友表示，TensorFlow 2.0比PyTorch更好用，已经准备全面转向这个新升级的深度学习框架了。本篇文章就带领大家用最简单地方式安装TF2.0正式…
javascript全栈开发实践-准备
目标： 我们将会通过一些列教程，在只使用JavaScript开发的情况下，实现一个手写笔记应用。该应用具有以下特点： 全平台，有手机客户端（Android/iOS），Windows，macOSÿ…
POJ 1017 Packets 贪心 模拟
一步一步模拟，做这种题好累 先放大的的，然后记录剩下的空位有多少，塞1*1和2*2的进去 //#pragma comment(linker, "/STACK:1024000000,1024000000") #include<cstdio> #include<cstring> #include<cstdlib> #incl…
NLP被英语统治？打破成见，英语不应是「自然语言」同义词
（图片付费下载自视觉中国）作者 | Emily M. Bender译者 | 陆离责编 | 夕颜出品 | AI科技大本营（ID: rgznai100） 【导读】在NLP领域，多资源语言以英语、汉语（普通话）、阿拉伯语和法语为代表&#…
CUDA Samples: Dot Product
以下CUDA sample是分别用C和CUDA实现的两个非常大的向量实现点积操作，并对其中使用到的CUDA函数进行了解说，各个文件内容如下：common.hpp:#ifndef FBC_CUDA_TEST_COMMON_HPP_ #define FBC_CUDA_TEST_COMMON_HPP_#include<random>templa…
element ui只输入数字校验
注意：圈起来的两个地方，刚开始忘记写typenumber了，导致可以输入‘123abc’这样的，之后加上了就OK了 转载于:https://www.cnblogs.com/samsara-yx/p/10774270.html
对DeDecms之index.php页面的补充
2019独角兽企业重金招聘Python工程师标准>>> 1、301是什么？ 其实就是HTTP状态表。就是当用户输入url请求时，服务器的一个反馈状态。 详细链接http://www.cnblogs.com/kunhony/archive/2006/06/16/427305.html 2、common.inc.php和arc.partvi…
OpenCV-Python：K值聚类
关于K聚类，我曾经在一篇博客中提到过，这里简单的做个回顾。 KMeans的步骤以及其他的聚类算法 K-均值是因为它可以发现k个不同的簇，且每个簇的中心采用簇中所含值的均值计算 其他聚类算法：二分K-均值 讲解一下步骤，其实…
CUDA Samples: Julia
以下CUDA sample是分别用C和CUDA实现的绘制Julia集曲线，并对其中使用到的CUDA函数进行了解说，code参考了《GPU高性能编程CUDA实战》一书的第四章，各个文件内容如下：funset.cpp:#include "funset.hpp" #include <rand…
给初学者的深度学习入门指南
从无人驾驶汽车到AlphaGo战胜人类，机器学习成为了当下最热门的技术。而机器学习中一种重要的方法就是深度学习。作为一个有理想的程序员，若是不懂人工智能（AI）领域中深度学习（DL）这个超热的技术，…
epoll/select
为什么80%的码农都做不了架构师？>>> epoll相对select优点主要有三： 1. select的句柄数目受限，在linux/posix_types.h头文件有这样的声明：#define __FD_SETSIZE 1024 表示select最多同时监听1024个fd。而epoll没…
CUDA Samples: ripple
以下CUDA sample是分别用C和CUDA实现的生成的波纹图像，并对其中使用到的CUDA函数进行了解说，code参考了《GPU高性能编程CUDA实战》一书的第五章，各个文件内容如下：funset.cpp：#include "funset.hpp" #includ…
Python告诉你这些旅游景点好玩、便宜、人又少！
（图片由CSDN付费下载自东方IC）作者 | 猪哥来源 | 裸睡的猪（ID：IT--Pig） 2019年国庆马上就要到来，今年来点新花样吧，玩肯定是要去玩的，不然怎么给祖国庆生？那去哪里玩&…
手机APP自动化之uiautomator2 +python3 UI自动化
题记： 之前一直用APPium直到用安卓9.0 发现uiautomatorviewer不支持安卓 9.0，点击截屏按钮 一直报错，百度很久解决方法都不可以，偶然间看见有人推荐：uiautomator2 就尝试使用 发现比appium要简单一些； 下面…
爱上MVC3系列~开发一个站点地图(俗称面包屑)
回到目录 原来早在webform控件时代就有了SiteMap这个东西,而进行MVC时代后,我们也希望有这样一个东西,它为我们提供了不少方便,如很方便的实现页面导航的内容修改,页面导航的样式换肤等. 我的MvcSiteMap主要由实体文件,XML配置文件,C#调用文件组成,当然为了前台使用方便,可以为…
Django web框架-----Django连接现有mysql数据库
第一步：win10下载mysql5.7压缩包配置安装mysql，创建数据库或导入数据库 第二步：win10搭建django2.1.7开发环境，创建项目为mytestsite，创建应用app为quicktool 第三步：编辑与项目同名的文件夹的配置文件&…
CUDA Samples: green ball
以下CUDA sample是分别用C和CUDA实现的生成的绿色的球图像，并对其中使用到的CUDA函数进行了解说，code参考了《GPU高性能编程CUDA实战》一书的第五章，各个文件内容如下：funset.cpp:#include "funset.hpp" #include <r…
ICLR 2020论文投稿2600篇，GNN、BERT、Transformer领跑热门研究方向
（图片由AI科技大本营付费下载自视觉中国）出品 | AI科技大本营（ID：rgznai100）2019 年 4，ICLR 2020 论文征集活动开始，截止 9 月 25 日，大会共收到近 2600 篇投稿，相比 ICL…
android环境安装之android4.2安装(转)
准备学习android，着手安装android时听说很麻烦，在网上看了很多android安装说明，都是android比较早的版本，我这里安装了android4.2，简单记录一下。 安装分为几步，首先申明，安装时最好保持网络畅通…
如何创建一个百分百懂你的产品推荐系统 | 深度教程（附代码详解）
（图片由AI科技大本营付费下载自视觉中国）来源 | 读芯术（ID：AI_Discovery）你也许每天都会逛一逛电子商务网站，或者从博客、新闻和媒体出版物上阅读大量文章。浏览这些东西的时候，最令读者或者用户…