2.2版本发布!TensorFlow推出开发者技能证书
作者 | 弯月
出品 | AI科技大本营(ID:rgznai100)
受 COVID-19 的影响,今年的 TensorFlow 开发者大会于2020年3月12日(北京时间)凌晨以线上直播的方式与全球开发者见面。
Google决定开源TensorFlow是为了让每个开发人员和研究人员都能方便地使用人工智能来解决多样化的现实问题。自开源以来,TensorFlow的下载次数超过了760万次,提交次数高达8万次,拉取请求13万余次,贡献者2400多名。
对 TensorFlow 来说,2019年是激动人心的一年。去年,Google先后推出了TensorFlow 2.2 和数个产品更新,在11个不同国家/地区举办全球路演,并召开了首届TensorFlow开发者大会和TensorFlow World。
TensorFlow 2.2 发布
2019年,Google推出了TensorFlow 2.0,这是该平台发展的一个重要的里程碑。TensorFlow 2.0的几大亮点包括:
专注于简单性和易用性,大大简化API
方便开发人员使用Keras 和 eager execution 轻松构建模型
提高TensorFlow Lite 和 TensorFlow.js 部署模型的能力
随后,Google根据社区的反馈:性能有待提升;从1.0移植2.0的难度过高,推出了TensorFlow 2.2。该版本强调性能,与生态系统的兼容性,以及核心库的稳定性。
TensorFlow生态系统
TensorFlow 建立了强大的生态系统,包含各类库、扩展以及工具,能够满足研究人员和开发人员实现端到端机器学习模型的各种需求。
对于研究人员,TensorFlow提供了最尖端的机器学习研究模型,例如T5模型可实现语音到文本的转换。
产品开发人员可结合使用TensorFlow与Keras等工具构建各种应用产品。TensorFlow Hub提供大量预训练模型。Google还推出端到端的AI云平台,从创意到发布,只需轻轻单击鼠标即可完成所有部署。
此外,开发人员可以利用TensorFlow Lite等工具轻松将机器学习模型部署到各种设备上。
NLP
随着图像识别领域的爆发式增长,近年来NLP领域的进展也是有目共睹,在大量的工具和模型的推动下,NLP的能力已超越了人类。
TensorFlow 2.x为生成文本引入了许多预处理层,这样数据的预处理就可以直接在TensorFlow中进行,而无需借助Keras等其他工具了:
TensorFlow 2.x提供了新的训练循环,允许开发者自定义每一步需要进行的操作,因此能解决以前Keras的fit函数无法解决的问题。
此外,NLP的调参过程一直是个难题,而现在我们可以使用 KerasTuner工具帮我们轻松地实现这一过程:
TensorFlow Hub
TensorFlow Hub提供了图像、文本、视频以及语音等全方面的预训练模型。
图像模型:图像分类、目标检测、图像增强、图像生成(如风格转换等)
文本模型:问答、文本分类、语法分析等
视频模型:视频动作识别、视频生成等
语音模型:音高识别等
TensorFlow 性能分析
TensorFlow性能分析提供了一系列工具集合:
Overview Page:性能概览页面
Input Pipleline Analyzer:输入管道分析
TensorFlow Stats:TensorFlow统计图表
Trace Viewer:追踪查看
4个GPU/TPU专业工具
Colab
Colab可以支持开发人员通过浏览器编写和执行Python代码。
MLIR:加速TensorFlow编译
现在机器学习模型已经深入到日常生活的方方面面,处理的任务也越来越复杂。那么随之而来的一个难题就是,怎样才能让机器学习模型的构建和训练过程变得更快?我们可以从这几个方面入手:
用标准化的方式表示基本概念,如运算、类型等
创建一个通用的基础设施,构建可以重用的组件
支持自定义和可扩展性
这个新的框架名为MLIR,全称是Multi-Level Intermediate Representation,是面向机器学习的编译架构,具有模块化、可扩展、可定制的特点。
对于用户而言,MLIR意味着可以调试模型更容易,还能获得更高的性能;而对于硬件供应商而言,MLIR意味着功能集成和优化更容易;对于研究人员而言,MLIR意味着基础架构的标准化。如今MLIR已经被许多大公司接受,全世界95%的数据中心的硬件也都支持MLIR,还有活跃的开源社区。
下图是TensorFlow的架构,蓝色部分为可以使用MLIR的部分。
简单来说,MLIR是一个通用的图表示框架,一组通用的优化和转换过程,以及一个完整的代码生成流水线。
TFRT:TensorFlow Runtime
TFRT是一个新的TensorFlow运行时。为什么要构建一个新的运行时呢?主要的动机是由于现在的模型越来越复杂、越来越大,而研究也需要更有创新性的运算、核和建模等。因此TensorFlow构建了TFRT这个新的运行时来满足不断增大的性能需求和对于模块化、可扩展性的要求。
TFRT是一个统一的、可扩展的运行时,在许多专用硬件上能够提供最好的性能。
TFRT的几个设计上的亮点包括:
异步、低消耗的方式分发运算和图:TFRT构建了一个不依赖锁的并行图执行器,因此同步所需的额外开销很小。而且,eager op栈非常薄,因此每个eager API调用的额外开销也很小。
可扩展性和模块化:运算、核和设备运行时与宿主运行时解耦合。
eager模式和图执行模式采用统一的构建组件,包括内存分配器、形状函数和核等。
TFX:TensorFlow Extended
TFX是一个端到端平台,用于部署生产型机器学习流水线。
2019年的最新发展:
建立机器学习元数据的基础
支持TensorFlow 2.x
建立公平的指标
2020年的发展计划:
支持 Native Keras + TensorFlow 2.x
TFLite inTFX
提高模型训练的速度
Google Cloud AI Platform + TFX = Google Clound AI Pipelines
TensorFlow.js
TensorFlow.js是面向Web的机器学习框架。
2019年,TF.js 1.0正式发布:
新增四个模型:BodyPix、Toxicity、USE、Speech commands
平台:AutoML,SavedModels,以及在Node.js中直接执行SavedModel
被许多大型应用程序采用,如Uber、Airbnb、微信、抖音等
2020年的新增目标:
新增模型:Facemesh、Handtrack、Mobile BERT
平台增强:Web Assembly后端、React Native支持
应用程序:平台用户:Glitch/Codepen
TensorFlow Lite
TensorFlow Lite是TensorFlow针对移动和嵌入式设备的轻量级解决方案。
全球40亿移动设备的各种应用都使用了TensorFlow Lite。超过1千应用产品采用了TensorFlow Lite,其中包括Google自己的产品YouTube、Google Cloud、Google Assistant,以及Uber、Hike、Airbnb、Viber等其他公司的产品。
公平
机器学习模型的偏见问题一直是模型训练中的一个难题。在机器学习模型的构建流程中,从问题定义、数据准备一直到模型训练、部署,每个阶段都不可避免地会引入人类的偏见。例如,如果一个模型根据人们画出的鞋子简笔画来学习怎样识别鞋子,而绝大部分人画出的鞋子都是运动鞋,那么训练出的模型就很难识别高跟鞋。在实际应用中,类似的偏见可能会导致严重的后果。
2017年发布的Toxicity v1模型的目的是识别网络语言中的有害信息从而帮助净化网络内容。但是,由于训练数据缺乏多样性,导致模型对于同性恋相关话题会给出很高的有害分数。如果利用这个模型来过滤有害信息,那就会导致同性恋人群在网络上无法发声,导致严重的歧视问题。
解决公平性的两个问题是:
如何衡量公平性?
应当采用怎样的训练数据?
Tensorflow提供了Faireness Indicators工具集,让开发者可以更容易地对模型的公平性进行测量。
根据实验,一个没有公平性约束的tf.keras.Sequential模型在Smile Detection on CelebA数集上的训练结果,会对Not Young的人群给出很高的假阳性率。
在使用了TFCO给模型加入约束后,训练结果明显好了很多。
TFQ:TensorFlow Quantum
不久前, TensorFlow Quantum(TFQ),一个可快速建立量子机器学习模型原型的开源库。TFQ 通过提供与现有 TensorFlow API 兼容的量子计算基本要素以及高性能量子电路模拟器,将量子计算开源框架 Cirq 与 TensorFlow 集成在一起,为传统的判别和生成量子模型的设计和实现提供了高层的抽象。
TensorFlow社区
用户群
TensorFlow 在全球共有73个用户群,最初的两个始自北美,最大的用户群在韩国有4.6万名成员,中国的用户群遍及16个城市。
教育课程与证书
TensorFlow不仅与Coursera等网站合作推出了一系列在线教育课程,还推出了TF开发证书,涉及主题包括:机器学习编程的基本概念、文本分类、计算机视觉以及序列和预测等。
【end】
◆
原力计划
◆
《原力计划【第二季】- 学习力挑战》正式开始!即日起至 3月21日,千万流量支持原创作者!更有专属【勋章】等你来挑战
推荐阅读
如何用 CNN 玩转 AlphaGo 版的五子棋?
训练数据也外包?这家公司“承包”了不少注释训练数据,原来是这样做的……
微信iOS版内测暗黑模式;涉嫌恶意举报,社交平台Soul运营合伙人被批捕;AWS推出基于Linux开源操作系统
区块链和大数据一起能否开启数据完整性的新纪元?
Soul App 高管被捕,恶意举报导致竞品被下架
以太坊2.0、分片、DAG、链下状态通道……概述区块链可扩展性的解决方案!
你点的每个“在看”,我都认真当成了AI
相关文章:

X3D中Profile如何翻译
问题在哪 在计算机术语中,Profile其实是很难用中文对应的词汇来翻译的一个单词。 在X3D国际标准中,就出现了Profile。它把软件产品对X3D的功能实现范围和相应支持程度做了预先的约定,分为Core Profile、Interchange Profile、Interactive Pro…
腾讯提结合ACNet进行细粒度分类,效果达到最新SOTA | CVPR 2020
作者 | VincentLee来源 | 晓飞的算法工程笔记细粒度分类(Fine-Grained Visual Categorization, FGVC)是图片分类的一个分支,由于类别间的相似性非常大,一般人比较难区分,所以是个很有研究意义的领域。受神经树研究的启发,论文设计…

asp.net mvc view中支持多个实体强类型小技巧
在MVC的开发过程中,在一个View里面可能需要调用多个对象,可是传统的方法是一次只能压入一个对象到View里面,这点并不像Castle框架的MVC好用,在Castle里面,可以很方便的把对象压入到前台Html里面,然后通过Ve…

使用指针做函数返回值
使用指针做函数返回值 1、当使用指针做为函数的返回值时,主函数处的char *p;将获得调用函数char *pf;的值,即一个地址值,如oxAE72。此时需要我们注意的是该地址值所指向的空间是否存在(即已向操作系统声明注册,不会被释放&#x…

Android Studio快捷键每日一练(2)
原文地址:http://www.developerphil.com/android-studio-tips-of-the-day-roundup-2/ 12、复制行 苹果:CmdD Windows:CtrlD 顾名思义,就是拷贝当前行并粘贴在下一行,整个过程无需和剪贴板交互。这个功能配合行移动快…
C语言字符char和整型int的关系
C语言并无char类型,就是用Int表示char的!char占一个字节,在C语言所有类型中最小。 char *占4字节(32位),8字节(64位) 在C语言中,实际上字符型数据在内存中是以二进制形式…
PyTorch关键算法疑似侵权,Facebook被起诉
作者 | 神经星星来源 | HyperAI超神经(ID:HyperAI)近期,一纸诉讼书引起社区的广泛讨论。该诉讼由创业公司 Neural Magic 发起,指控 Facebook 发布到 GitHub 的神经网络软件,使用了他们开发的核心算法。而泄露机密的人&…

大数据高效复制的处理案例分析总结
一个老客户提出这样的需求,希望将SQLServer中的某个表的数据快速复制到SQLite数据库里面以便进行定期的备份处理,数据表的记录大概有50多万条记录,表有100个字段左右,除了希望能够快速做好外,效率是第一位的࿰…

memset函数使用详解
1.void *memset(void *s,int c,size_t n) 总的作用:将已开辟内存空间 s 的首 n 个字节的值设为值 c。 2.例子 #include void main(){ char *s"Golden Global View"; clrscr(); memset(s,G,6); printf("%s",s); getchar(); ret…
节后招人平均工资9000上热搜,为什么有些人去哪里都值钱?
我”荒“了。这是很多中国AI企业的现状。《人民日报》报道称,我国AI的人才缺口超过500万,供求比例仅为1:10!很多企业已经开始面临“人才荒”的窘境,外媒爆料说,中国企业已经不断在硅谷挖人了!目…

关于定于如何弄的漂亮点
</div></div><div class"panel"><h5 οnclickshowhidediv("sidebar_rss");>订阅博客</h5><div class"panel-content" id"sidebar_rss" style"display: block"><ul class"list&…

Happy New Year 2016
大学之前的时间都是按天来过的,期盼着一天一天地快快长大,期盼着过年穿新衣,阖家团聚,其乐融融; 大学的时间都是按周来过的,根据每周的课表周而复始,虽然单调但也是自由自在,简单充实…

HashTable原理与实现
memcached中hashtable部分的源码,hash部分的源码主要分布在assoc.h/c、hash.h/c中,总得来说代码比较简单,这里就稍微介绍一下。hashtable通常包括哈希函数和解决冲突的方法两个最主要的因素,memcached使用的哈希函数为Bob Jenkins…

as3自定义加载图片类
ImageLoader.as类: package{ import flash.display.Bitmap; import flash.display.Loader; import flash.display.Sprite; import flash.events.Event; import flash.events.ProgressEvent; import flash.net.URLRequest; /** * 图片加载类…
想成为一个数据科学家却不知道从何下手?这份路线图带你打开数据科学大门!...
作者 | Jane译者 | 火火酱 责编 | 徐威龙出品 | AI科技大本营(ID:rgznai100)你想成为一名数据科学家吗?你对数据科学了解很多,想知道关于数据科学天花乱坠的宣传都在讲什么吗?那好,你算是来对了地方。在过去…

bzoj 1691: [Usaco2007 Dec]挑剔的美食家
Time Limit: 5 Sec Memory Limit: 64 MBSubmit: 621 Solved: 280[Submit][Status][Discuss]Description 与很多奶牛一样,Farmer John那群养尊处优的奶牛们对食物越来越挑剔,随便拿堆草就能打发她们午饭的日子自然是一去不返了。现在,Farmer…

PHP内核中的哈希表结构
https://github.com/HonestQiao/tipi/commit/17ca680289e490763a6a402f79afa2a13802bb36 下载:https://github.com/HonestQiao/tipi/tree/master/book/sample/chapt03 原文地址:http://www.nowamagic.net/librarys/veda/detail/1344 PHP中使用最为频…
应聘苹果数据科学家,你需要知道些什么?
作者 | Jay Feng译者 | 孙薇,责编 | 屠敏头图 | CSDN 下载自东方 IC出品 | CSDN(ID:CSDNnews)以下为译文:苹果公司是全球最大的技术公司之一,从事电子消费产品、计算机软件以及在线服务的设计、开发并销售工…

python 利用模板文件生成配置文件
2019独角兽企业重金招聘Python工程师标准>>> gen.py: __author__ fuhan from jinja2 import Template a{name:a} b{name:b} mode_dict { a:a, b:b } def gen_config(tplt_file, modea): with open(tplt_file, r) as r: tplt Template(r.read()) config mode_dic…

利用Apache的ab命令做Benchmark性能测试
测试系统性能,例如httpsqs # ab -k -c 10 -n 100000 "http://127.0.0.1:1218/?namexoyo&optput&dataabc ab是Apache超文本传输协议(HTTP)的性能测试工具。 其设计意图是描绘当前所安装的Apache的执行性能,主要是显示你安装的Apache每秒可…
MySQL 狠甩 Oracle 稳居 Top1,私有云最受重用,大数据人才匮乏! | 中国大数据应用年度报告...
整理 | 屠敏出品 | CSDN(ID:CSDNnews)科技长河,顺之者昌,错失者亡。在这个技术百态之中,中国专业的 IT 社区CSDN 创始人&董事长蒋涛曾多次在公开活动中表示,开发者是对技术变革最敏感的人群。这不仅源于…

MAC安装OpenXenManager管理Xenserver
官方文档:https://github.com/OpenXenManager/openxenmanager要求:Python 2.7pyGTK 2.16ConfigObjRavenGTK-VNC(仅限Linux)Debian / Ubuntu Linux软件包依赖项:python2.7 python-gtk2 glade python-gtk-vnc python-gla…
用Flutter + Dart快速构建一款绝美移动App
作者 | Wojciech Kuroczycki译者 | 弯月来源 | CSDN(ID:CSDNnews)如今,与前端或移动相关的新框架层出不穷。所有从事Web开发的人都应该熟悉各种目不暇接的新方法以及针对复杂问题的轻量级解决方案。我们不再因为没有现成的技术而烦恼…

自己写的单链表
link.c #include <stdio.h> #include <malloc.h> #include <string.h> #include <stdlib.h> #include "link.h"/**** 这是一个计算HASH值的算法**/ int time33(char* arKey,int arlength){int h 0;int i;for(i0;i<arlength;i){h h*3…

假装不知道有尽头(博弈论的诡计)
《笑林广记》中记载这样一则笑话。 有一个人去理发铺剃头,剃头匠给他剃得很草率。剃完后,这人却付给剃头匠双倍的钱,什么也没说就走了。一个多月后的一天,这人又来理发铺剃头。剃头匠还记得他上次多付了钱,觉得此人阔绰…

Java Script 第四节课 Java Script的隐式转换
<!DOCTYPE html><html><head><meta charset"utf-8"><title></title><script type"text/javascript">/*if(exp){exp为true的代码段;}else{exp为false的代码段;}*///其它类型转换成布尔类型假的有var a;//undefin…
深入理解malloc和free
1.为什么free是void*,那么它怎么知道要释放多少内存? 《UNIX环境高级编程》 《C语言编程常见问题解答》 《你必须知道的495个C语言问题》 《UNIX环境高级编程》 2.free源码 内存控制块结构定义 struct mem_control_block {int is_available;int si…

根据IP和MAC查端口
进入交换机的命令提示符.输入show ip arp 查出IP地址跟MAC 地址的对照表.再输入show mac-address-table,看一下这个MAC是从哪个端口学到的转载于:https://blog.51cto.com/124130/271033
“数学不好,干啥都不行!”骨灰级程序员:其实你们都是瞎努力!
之前很多程序员读者向我们反馈:1)数据结构、编程语句,核心原理都是数学,不会数学搞编程好难,后来发现各种东西还要概率论,还要推收敛!近似还要知道泰勒展开!2)做算法优化…

转:秒杀系统架构分析与实战
原文出处: 陶邦仁 欢迎分享原创到伯乐头条 0 系列目录 秒杀系统架构 秒杀系统架构分析与实战1 秒杀业务分析 正常电子商务流程 (1)查询商品;(2)创建订单;(3)扣减库存&a…