麻省理工学院的新系统TextFooler， 可以欺骗Google的自然语言处理系统及Google Home的音频...
来源 | news.mit
编译 | 武明利
责编 | Carol
出品 | AI科技大本营（ID:rgznai100）
两年前，Google的AI还不太成熟。一段时间以来，有一部分计算机科学研究一直致力于更好地理解机器学习模型如何处理这些“对抗性”攻击，这些攻击是故意用来欺骗或愚弄机器学习算法而创建的输入。
尽管大部分工作都集中在语音和图像上，但最近，麻省理工学院计算机科学与人工智能实验室（CSAIL）的一个团队针对文本的边界进行了测试。他们提出了“ TextFooler”这一通用框架，该框架可以成功地攻击自然语言处理（NLP）系统——这类系统使我们能够与Siri和Alexa语音助手进行交互，并“愚弄”它们以做出错误的预测。
可以想象将TextFooler用于许多与Internet安全相关的应用程序的情形，例如电子邮件垃圾邮件过滤，仇恨言论标记或敏感政治言论文本检测，这些都是基于文本分类模型的。可以想象将TextFooler用于许多与Internet安全相关的应用程序，例如电子邮件垃圾邮件过滤，仇恨言论标记或“敏感”政治言论文本检测，这些都是基于文本分类模型。
“如果这些工具容易受到有目的的对抗攻击，那么后果可能是灾难性的。” 麻省理工学院博士研究生Di Jin、同时也是一篇有关TextFooler的新论文的主要作者说到。 “这些工具需要有有效的防御方法来保护自己，为了建立这样一个安全的防御系统，我们首先需要研究对抗方法。”
TextFooler分为两个部分：修改给定的文本，然后使用该文本测试两个不同的语言任务，查看系统是否可以成功欺骗机器学习模型。
该系统首先识别将影响目标模型预测的最重要的单词，然后选择符合上下文的同义词。 这一切都是在保持语法和原始含义足够看起来“人性化”的同时，直到预测被改变。
然后，将该框架应用于两个不同的任务——文本分类和蕴含（句子中文本片段之间的关系），目的是更改分类或使原始模型的蕴含判断无效。
在一个示例中，TextFooler的输入和输出为：
输入：
“The characters, cast in impossibly contrivedsituations, are totally estranged from reality.”
输出：
“The characters, cast in impossibly engineeredcircumstances, are fully estranged from reality.”
在这种情况下，当在NLP模型上进行测试时，它会正确输入示例输入，但随后得出的修改输入是错误的。
总之，TextFooler成功地攻击了三种目标模型，包括流行的开源NLP模型“ BERT”。 通过仅更改给定文本中10％的单词，它以90％以上至20％以下的准确性欺骗了目标模型。 该团队根据以下三个标准评估了成功程度：更改模型对分类或蕴涵的预测；与原始示例相比，它在意义上与人类读者是否相似以及文字是否看起来足够自然。
研究人员指出，虽然攻击现有模型不是最终目标，但他们希望这项工作将有助于更抽象模型泛化到新的、看不见的数据。
Di Jin说：“该系统可用于或扩展来攻击任何基于分类的NLP模型，以测试其健壮性。另一方面，生成的对手可通过对抗训练来提高深度学习模型的鲁棒性和泛化能力，这是这项工作的关键方向。”
【end】
◆
精彩推荐
◆
疫情肆虐，灾难当前，CSDN 联合PyCon中国、wuhan2020、xinguan2020 等力量举办「Python开发者日」线上公益峰会，本次活动特邀数位一线Python技术专家重点围绕python在疫情项目中的具体应用展开，分享真实项目环境中使用Python应对挑战的真知灼见。
两种报名方式：
1.点击“立即报名”--结算时使用优惠码“pythonday”，价格变为“0"元--提交订单，免费参与
2.点击“立即报名”--付款“19元”报名--会议官网公示姓名--????为疫区捐款表心意????
推荐阅读
福利直达！CSDN技术公开课评选进行中
连登 GitHub TOP 榜，中国开发者在行动！
深度好文！新浪微博架构师详析微博云原生技术的思考与实践
2020年区块链和分布式账本技术的5大趋势
我是互联网人，我没有做逃兵
我做独立开发者的第二年
你点的每个“在看”，我都认真当成了AI
相关文章：
Oracle VS DB2 数据类型
Oracle VS DB2 本文转自：http://www.bitscn.com/oracle/install/200604/16541.html首先，通过下表介绍ORACLE与DB2/400数据类型之间的对应关系，是一对多的关系，具体采用哪种对应关系，应具体问题具体分析。 OracleDB2/40…
死锁问题分析的利器——valgrind的DRD和Helgrind
在《DllMain中不当操作导致死锁问题的分析--死锁介绍》一文中，我们介绍了死锁产生的原因。一般来说，如果我们对线程同步技术掌握不牢，或者同步方案混乱，极容易导致死锁。本文我们将介绍如何使用valgrind排查死锁问题。（…
疫情可视化，基于知识图谱的AI“战疫”平台如何做？
来源 | DataExa渊亭科技武汉封城半个月，疫情依然严峻。但与17年前的SARS相比，我国在此次疫情防控工作中展现出了更高的医疗救治水平、更快的防疫反应速度、更透明的信息披露机制、更迅速的数据报送机制。在这场没有硝烟的战役中，社会各界团结…
mysql乐观锁总结和实践
2019独角兽企业重金招聘Python工程师标准>>> 上一篇文章《MySQL悲观锁总结和实践》谈到了MySQL悲观锁，但是悲观锁并不是适用于任何场景，它也有它存在的一些不足，因为悲观锁大多数情况下依靠数据库的锁机制实现，以保证操…
数据竞争（data race）问题分析的利器——valgrind的Helgrind
数据竞争（data race）是指在非线程安全的情况下，多线程对同一个地址空间进行写操作。一般来说，我们都会通过线程同步方法来保证数据的安全，比如采用互斥量或者读写锁。但是由于某些笔误或者设计的缺陷，还是存…
sql charindex函数
CHARINDEX函数返回字符或者字符串在另一个字符串中的起始位置。CHARINDEX函数调用方法如下： CHARINDEX ( expression1 , expression2 [ , start_location ] ) Expression1是要到expression2中寻找的字符中，start_location是CHARINDEX函数开始在expressi…
170亿参数加持，微软发布史上最大Transformer模型
来源 | 微软译者 | 刘畅出品 | AI科技大本营（ID:rgznai100）Turing Natural Language Generation（T-NLG）是微软提供的一个有170亿参数的语言模型，在许多NLP任务上均优于目前的SOTA技术。我们向学者演示了该模型…
iOS 开发 OC编程 数组冒泡排序.图书管理
// // main.m // oc -5 数组 // // Created by dllo on 15/10/28. // Copyright (c) 2015年 dllo. All rights reserved. // #import <Foundation/Foundation.h> #import "Student.h" #import "Book.h" int main(int argc, const char * argv[])…
C#中使用Monitor类、Lock和Mutex类来同步多线程的执行(转)
C#中使用Monitor类、Lock和Mutex类来同步多线程的执行 在多线程中，为了使数据保持一致性必须要对数据或是访问数据的函数加锁，在数据库中这是很常见的，但是在程序中由于大部分都是单线程的程序，所以没有加锁的必要，但是…
从0开始搭建编程框架——思考
需求来源于问题。（转载请指明出于breaksoftware的csdn博客） 之前有个人做前端开发的同学在群里问“C语言能做什么？能写网页么？”，然后大家就开始基于这个问题展开争辩。有的认为是“不能，从来没听说过C语言…
2月15日Python线上峰会免费学！6场精华分享，用代码“抗”疫
截至截止2月12号09时43分，新型冠状病毒在全国已确诊44726例，疑似病例已达21675例。而专家所说的“拐点”始终未至，受疫的影响，各大公司开启远程办公模式，将返回工作场所办公的时间一延再延。在抗疫前线，中国…
C#语言 数组
转载于:https://www.cnblogs.com/a849788087/p/4947939.html
从0开始搭建编程框架——主框架和源码
一个良好的结构是“对修改关闭，对扩展开放”的。（转载请指明出于breaksoftware的csdn博客） 这个过程就像搭建积木。框架本身需要有足够的向内扩展能力以使自身有进化能力，其次要有足够的外向扩展能力以使其可以方便定制业务。一般…
中文版开源！这或许是最经典的Python编程教材
整理 | AI科技大本营（ID:rgznai100）想入门Python，但一直没找到合适的参考书籍？《Think Python》是很多Python初学者的不二入门教材，受到广泛好评。该书原作者是美国Olin工程学院的教授Allen B. Downey，目前…
[流水账]毕业?工作?
离正常毕业时间还有1年多, 没想到这么早就开始感受到毕业的气息了. 前几天收到去参加IBM中国研究院校友座谈会的邀请, 因为有事没过去, 今天又接到了校友蒋师兄的电话来了解我的个人情况. 接到电话时蒋师兄先核对了一下信息, 然后要我介绍一下自己, 我做事一向比较谨慎, 对涉及…
Java并发编程-信号量
Semaphore 直译是信号量，它的功能比较好理解，就是通过构造函数设定一个数量的许可，然后通过 acquire 方法获得许可，release 方法释放许可。它还有 tryAcquire 和 acquireUninterruptibly 方法，可以根据自己的需要选择。…
从0开始搭建编程框架——插件
我将插件设计为两种类型。一种是框架自身携带的插件，用于增强其基础能力。一种是用户自定义插件，用于完成业务。本文将分别介绍在peleus框架下，这两种插件该怎么写。（转载请指明出于breaksoftware的csdn博客） 本文谈下…
蚂蚁金服AAAI收录论文曝光，动态网络剪枝方法、无语预训练的网络剪枝技术有重大突破...
来源 | 蚂蚁金服责编 | Carol出品 | AI科技大本营（ID:rgznai100）一年一度在人工智能方向的顶级会议之一AAAI 2020于2月7日至12日在美国纽约举行，旨在汇集世界各地的人工智能理论和领域应用的最新成果。以下是蚂蚁金服的技术专家对入选论文《基…
安装 Enthought Tool Suite 时遇到的问题
文：fasiondog 来源：http://blog.csdn.net/KongDong/archive/2009/05/26/4217942.aspx 因想研究一下Enthought Tool Suite ，尤其是可能需要使用其中的Chaco 和Envisage 软 件包，便安装试用一下。刚开始装机时曾经使用新立得安装过…
SQL知识累积
详细介绍select的文章，展示原始数据、SQL、查询结果，以及在不同数据库下SQL应该如何写。 https://en.wikipedia.org/wiki/Select_(SQL) 目录如下： Contents [hide] 1 Examples 2 Limiting result rows 2.1 ROW_NUMBER() window fu…
C++拾趣——使用多态减少泛型带来的代码膨胀
泛型编程是C语言中一种非常重要的技术，它可以让我们大大减少相似代码编写量。有时候，我和同事提及该技术时，称它是“一种让编译器帮我们写代码的技术”。（转载请指明出于breaksoftware的csdn博客） C是一门静态语言&…
如何成为一个优秀的程序员
本文给出了十五个评定软件开发人员的标准，可以帮助程序员朋友从一个好的程序员成为一个优秀的程序员，和大家共飨！ 怎样评定一名软件开发人员？这是一个颇为奇怪的问题。现在已经有了很多的理论和形式来做这件事，人力资源…
2020年，最适合AI的5种编程语言
来源 | medium编译 | 张涛责编 | Carol出品 | AI科技大本营（ID:rgznai100）AI系统的开发必须有计算机代码，而计算机程序的开发有不同类型的编程语言可以选择。本文分析哪些编程语言最适合你的人工智能或机器学习用例开发。文中给出了一个想要在…
kafka生产者、消费者java示例
1. 生产者 import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; public class MyProducer { public static void main(String[] args) { Properties props new Properti…
bug诞生记——临时变量、栈变量导致的双杀
这是《bug诞生记》的第一篇文章。本来想起个文艺点的名字，比如《Satan（撒旦）来了》，但是最后还是想让这系列的重心放在“bug的产生过程”和“缺失的知识点”上，于是就有了本系列这个稍微中性的名称。（转载请…
波士顿动力的机器狗上班了！巡逻、检测不在话下，挪威公司为其编发工号
作者 | 神经小刀来源 | HyperAI超神经（ID: HyperAI）AI 界的网红，波士顿动力机器狗 Spot ，近日获得了新的工作岗位，它将入职挪威的石油天然气开采公司 Aker ，负责巡检工作，还破天荒地获得了工牌和…
C语言运算符的优先级
() [] -> . (--->) ! ~ -- - (type类型) * & sizeof (<---) 单目运算符 * / % (--->) - (--->) << >> (--->) 移位运算符 < < > > (--->) 关系运算符 ! (--->) 等于或不等于&…
Java 多线程（六） synchronized关键字详解
多线程的同步机制对资源进行加锁，使得在同一个时间，只有一个线程可以进行操作，同步用以解决多个线程同时访问时可能出现的问题。 同步机制可以使用synchronized关键字实现。 当synchronized关键字修饰一个方法的时候，该方法叫做同…
bug诞生记——const_cast引发只读数据区域写违例
对于C这种强类型的语言，明确的类型既带来了执行的高效，又让错误的发生提前到编译期。所以像const这类体现设计者意图的关键字，可以隐性的透露给我们它描述的对象的使用边界。它是我们的朋友，我们要学会和它相处，而不是…
听说Java被玩儿淘汰了？骨灰级程序员：远比你们想象的强大！
听过Java快被淘汰了？告诉你：没那么容易！Java从诞生至今，已经走过了20多年的历史，虽然相比新型的技术语言算是“老古董”，但是它的应用依然最为广泛，并且有着非常成熟的生态。而且我相信…