当前位置： 首页 > 编程日记 > 正文

重磅！Facebook更新PyTorch 1.1，打算跨GPU分割神经网络

编程日记 2025-01-05 16:30:00

时隔半年不到，PyTorch 已经从之前的 1.0 升级到 1.1 版本了。刚刚，Facebook 在年度开发者大会 F8 上宣布正式发布 PyTorch 1.1 版本，这是对 PyTorch 1.0 的一次大的功能升级。

作者 | 琥珀

出品 | AI科技大本营（ID:rgznai100）

PyTorch 产品经理 Joe Spisak 接受外媒 ZDNet 采访时，谈及了新推出的训练 AI 系统时”跨 GPU 分割神经网络“功能，他表示：“（神经网络）模型越来越大，它们真得非常大，而且训练一个模型的成本也非常高。在很多情况下，其 GPU 占比超过 16GB。例如，我们内部最新开发的神经网络模型超过 10GB，其参数数量基本超过 10 亿个。“

虽然 BERT 效果惊人，但其所需要的计算量也非常大。例如，BERT-Large 模型有 24 层、2014 个隐藏单元，它们在有 33 亿词量的数据集上需要训练 40 个 Epoch。

为了解决这类问题，PyTorch 1.1 增加了跨 GPU 分割神经网络的能力，成为”分片 “（sharding）模型。此前，PyTorch 允许开发人员将不同处理器中的训练数据分割，这在并行处理计算领域称为” 数据并行 “（data parallelism）。神经网络分割使得” 指令并行“成为可能，因此神经网络可以实现多指令、多数据的模式。

”一般来讲，这些模型均位于一个 GPU 中，开发人员处理分布式并行数据，这意味着，他们可以对数据集进行分割，然后在系统上复制模型。一旦训练这种较大规模的模型，模型本身就必须切分。可以将某个模型层或子图神经网络放在一个节点上，然后将另一个子图神经网络切换到另一个计算单元上。“

分片完成后，PyTorch 中的算法在模型训练时会将其结合起来。

实际上，跨 GPU 分割模型仅是 PyTorch 此次升级的其中一项新功能。

▌PyTorch 1.1 有什么新功能？

该框架主要有四大更新，总结起来如下：

  • 提供 TensorBoard 官方支持：

使用 TensorBoard 进行一级原生的可视化和模型调试。TensorBoard 是一个用于检查和理解训练脚本、张量和图神经网络的 Web 应用程序套件。PyTorch 现在通过一个简单的 “from torch.utils.tensorboard import SummaryWriter” 命令原生支持 TensorBoard。

  • 升级 JIT 编译器：

对即时（JIT）编译进行改进。这些改进包括修复各种 bug 一级 TorchScript 中的扩展功能，例如对字典、用户类和属性的支持。

  • 新 API：

支持布尔张量，更好地支持自定义递归神经网络（RNN）。

  • 分布式训练：

改进了 CNN 等场景模型的性能，增加了对多设备模块的支持，包括在使用分布式数据并行（DDP，Distributed Data Parallel）的同时跨 GPU 分割模型的能力，并支持在每次迭代中不适用所有参数的模块（例如控制流程，如自适应 softmax 等）。

值得注意的是，PyTorch 1.1 不再支持 CUDA 8.0。

▌生态的深度支持

PyTorch 升级新框架都不开生态社区的支持。

例如，在 2018 年 5 月在 F8 开发者大会上首次公布的 PyTorch 1.0 ，就与 Facebook 的 Caff2、ONNX 进行了更深入的整合。

而此次，Facebook 表示：还将继续与社区合作，开发共同项目和工具，旨在支持 ML 工程师满足从改进模型理解到使用 AutoML 方法进行自动调整等各种需求。其中包括已经在生产规模部署的 Facebook 开源资源，以及与 Google 等公司合作的产品和服务，主要有四方面：

  • BoTorch

BoTorch 是一个建立在 PyTorch 之上的贝叶斯优化库。

  • Ax

Ax 是一个用于管理自适应实验的机器学习平台，它使研究人员和工程师能够系统地探索大型配置空间，以优化机器学习模型、基础架构和产品。

  • PyTorch-BigGraph

PBG 是一个分布式系统，用于创建具有数十亿实体和数万亿边的非常大的图神经网络的嵌入。（AI 科技大本营此前报道）

  • Google AI Platform Notebooks

Google AI Platform Notebooks 是 Google Cloud Platform 提供的全新托管的 JupyterLab 服务。数据科学家可以快速创建运行 JupyterLab 的虚拟机，并预装最新版本的 PyTorch。它还与 BigQuery、Cloud Dataproc、Cloud Dataflow 和 AI Factory 等 GCP 服务紧密集成，可以在不离开 JupyterLab 的情况下轻松执行完整的机器学习构建。

此外，Facebook 将与 fast.ai 展开更紧密的合作。

去年，双方联合发布了 fastai 1.0，一个基于 PyTorch 构建的开源深度学习库。目前，包括斯坦福 NLP、加州伯克大学 CV 课程正基于 PyTorch 进行授课。今年，Facebook 表示，将在牛津大学 Andrew Trask 和 OpenMined 推出深度学习入门课程的基础上，赞助新的 Udacity 课程。Facebook 还将提供奖学金，以支持学生在 Udacity 完整的 Nanodegree 课程中继续接受教育。

相关链接：

https://pytorch.org/

https://github.com/pytorch/pytorch/releases

https://ai.facebook.com/blog/pytorch-adds-new-dev-tools-as-it-hits-production-scale/

（本文为AI科技大本营原创文章，转载请微信联系 1092722531）

CTA核心技术及应用峰会

5月25-27日，由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开，峰会将围绕人工智能领域，邀请技术领航者，与开发者共同探讨机器学习和知识图谱的前沿研究及应用。

更多重磅嘉宾请识别海报二维码查看，目前会议早鸟票发售中（原票价1099元），点击阅读原文即刻抢购。添加小助手微信15101014297，备注“CTA”，了解票务以及会务详情。


https://www.dkcj.cn/info/34979.html

相关文章：

红旗Linux认证简介

红旗Linux认证 一、课程名称：红旗Linux认证产品专家（RAP） 课程简介： 主要针对初次使用红旗Linux desktop的学员而编制，注重实用性，是红旗Linux的一门入门课程。 采用的教材是《红旗Linux桌面应用教程》&…

编程日记2025/01/05 16:20:00

【Git】git clone时下载速度太慢的解决方法（亲测有效）

1、参考博客 https://www.jianshu.com/p/3f6477049ece2、原因 git clone特别慢是因为github.global.ssl.fastly.net域名被限制了。 只要找到这个域名对应的ip地址，然后在hosts文件中加上ip–>域名的映射，刷新DNS缓存便可。 3、解决方法 3.1 获取I…

编程日记2025/01/05 16:10:00

JHipster技术简介

本文简单介绍Jhipster是什么，为什么用Jhipster，怎么用Jhipster。 WHAT - 技术栈 JHipster是什么 JHipster是一个开发平台，用于生成，开发，部署Spring Boot Angular/React Web Application和Spring microservices。 JHi…

编程日记2025/01/05 16:00:00

如何确定最佳训练数据集规模？6 大必备“锦囊”全给你了

【导读】对于机器学习而言，获取数据的成本有时会非常昂贵，因此为模型选择一个合理的训练数据规模，对于机器学习是至关重要的。在本文中，作者针对线性回归模型和深度学习模型，分别介绍了确定训练数据集规模的方法。 作者…

编程日记2025/01/05 15:50:00

Android实现左右滑动效果

本示例演示在Android中实现图片左右滑动效果。 关于滑动效果，在Android中用得比较多，本示例实现的滑动效果是使用ViewFlipper来实现的，当然也可以使用其它的View来实现。接下来就让我们开始实现这种效果。为了方便大家理解，我们先…

编程日记2025/01/05 15:40:00

假如AI也会diss人类，他们会这样.....

1酷炫、未来感、强大、没灵气、不给力、垃圾、高深——如果有一个东西适用于以上所有这些词，那它一定是人工智能。人工智能的火爆一直伴随着争议和调侃。尤其是现在，大数据和机器学习已经融入到我们的生活，网上关于人工智障的吐槽却只增不减。…

编程日记2025/01/05 15:30:00

[Go]在vscode中添加对模板文件tmpl的html语法自动补全的支持

1、打开设置界面 依次点击：“文件” --> “首选项” --> “设置” 2、打开文件配置 依次点击：“文本编辑器” --> “文件” --> “在settings.json中编辑” 3、添加对tmpl后缀文件的html语法自动补全支持 4、效果 html关键字高亮显示…

编程日记2025/01/05 15:20:00

Docker 宿主机定时清除容器的运行日志

为什么80%的码农都做不了架构师？>>> docker 宿主机定时清除容器的运行日志 一般docker容器都是最小化安装，不仅如此系统定时器相关的服务也不存在，自己去安装也很麻烦，故此直接使用宿主机的定时器即可。 一、在容器中…

编程日记2025/01/05 15:10:00

企业数据库合规的最佳实践

PCI DSS当前对于数据库要求有下述明确的控制措施： • 对访问任意数据库的所有用户进行认证。 • 所有用户访问任何数据库时，用户的查询和操作（例如移动、拷贝和删除）只能通过编程性事务（例如存储过程）。 •…

编程日记2025/01/05 15:00:01

Docker网络解决方案-Flannel部署记录

Docker跨主机容器间网络通信实现的工具有Pipework、Flannel、Weave、Open vSwitch（虚拟交换机）、Calico实现跨主机容器间的通信。其中Pipework、Weave、Flannel，三者的区别是： Weave的思路 12在每个宿主机上布置一个特殊的route的…

编程日记2025/01/05 14:50:00

【FFmpeg】警告：[hls] pkt.duration = 0, maybe the hls segment duration will not precise

1、问题描述 在使用ffmpeg编程生成m3u8文件时，报警告 [hls @ 0x7f26b4181840] pkt->duration = 0, maybe the hls segment duration will not precise2、原因分析 根据警告提示信息， AVPacket.duration的值设为了0，可能会导致hls在分段时时间不精确。 根据警告信息搜索…

编程日记2025/01/05 14:40:00

反转字符串/列表、改变递归次数限制、else用法...Python 冷知识（四）

本文转载自Python编程时光（ID:Python-Time）冷知识系列，已经更新至第四篇。前三篇传送门在此，还没阅读的可以学习一下。谈谈 Python 那些不为人知的冷知识（一）谈谈 Python 那些不为人知的冷知识（…

编程日记2025/01/05 14:30:00

我学Delphi心得与笔记-------在控件上如何禁用Ctrl+V

项目中用到一个TJamShellList组件，此组件实现绑定查询图片，发现在使用CtrlC的同时也可以使用CtrlV结果将一个图处复制了多份，这样就不行了:( 于是，想了一个办法，禁用了CtrlV组合按键,代码如下: //在KeyDown事件中写如下…

编程日记2025/01/05 14:20:00

15分钟带你入门sklearn与机器学习——分类算法篇

作者 | 何从庆本文转载自AI算法之心（ID:AIHeartForYou）【导读】众所周知，Scikit-learn（以前称为scikits.learn）是一个用于Python编程语言的免费软件机器学习库。它具有各种分类，回归和聚类算法，…

编程日记2025/01/05 14:10:00

【FFmpeg】警告：[mpegts] H.264 bitstream error, startcode missing, size 0

1、问题描述 在使用FFmpeg编程，编码成h.264后，再封装成hls时，报警告 [mpegts] H.264 bitstream error, startcode missing, size 02、原因分析 根据警告提示信息可知：264位流错误，开始码丢失，大小为0。 根据警告信息搜索源码，在 FFmpeg-n4.2.2/libavformat/mpegtsenc…

编程日记2025/01/05 14:00:01

svg: svg预定义的形状

SVG 有一些预定义的形状元素&#xff0c;可被开发者使用和操作&#xff1a;矩形 <rect>圆形 <circle>椭圆 <ellipse>线 <line>折线 <polyline>多边形 <polygon>路径 <path> 矩形 <rect x"20" y"20" width&qu…

编程日记2025/01/05 13:50:00

[转]会自动消失的对话框API函数：MessageBoxTimeout

//以下两个函数由user32.dll导出&#xff0c;只是没有微软官方文档记载&#xff0c;大家在cpp中包含了以下部分&#xff0c;就可以调用MessageBoxTimeout了。 extern "C"{int WINAPI MessageBoxTimeoutA(IN HWND hWnd, IN LPCSTR lpText, IN LPCSTR lpCaption, IN UI…

编程日记2025/01/05 13:40:00

GitHub告急！黑客威胁程序员不交钱就删库

作者 | 伍杏玲出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;5月3日&#xff0c;当中国程序员正愉快地过五一节时&#xff0c;国外程序员突然发现自己GitHub上的代码不翼而飞&#xff01;自己的GitHub一秒变成悬疑片现场&#xff0c;不仅被黑客攻击删代码了&#…

编程日记2025/01/05 13:30:00

【FFmpeg】ffmpeg中函数返回的错误码：AVERROR及AVERROR_*

1、AVERROR FFmpeg的错误码大部分使用的PIOSIX标准中错误码的负值。 AVERROR定义在文件 FFmpeg-n4.2.1/libavutil/error.h 中 #define AVERROR(e) (-(e)) // Returns a negative error code from a POSIX error code, to return from library functions. //FFmpeg库的错误…

编程日记2025/01/05 13:20:00

entjs 键盘监听

1.应用在textfield中的回车方式&#xff1a; var siteName new Ext.form.Field({id: loadUrl,//表单元素最好使用Id&#xff0c;不然在IE浏览器中表单内容将变形fieldLabel: 密码,listeners : {specialkey : function(field, e) {if (e.getKey() Ext.EventObject.ENTER) {ale…

编程日记2025/01/05 13:10:00

IIS 7.5 + FastCGI + PHP + Drupal 7 + Oracle

2019独角兽企业重金招聘Python工程师标准>>> 运行SQL命令行&#xff1a;conn system 删除drupal表空间:drop tablespace drupal INCLUDING CONTENTS; 创建drupal表空间: create tablespace drupal logging datafile d:\htdocs\db\drupal.dbf size 32m autoexten…

编程日记2025/01/05 13:00:00

Yann LeCun推荐！自监督学习、全景FPN...内容平台的四大技术指南

编译整理 | 一一出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09;去年陷入“数据丑闻”后的 Facebook 日子并不好过&#xff0c;在这之后他们对外界强调的关键词大部分都是“隐私”和“安全”。即便如此&#xff0c;在刚刚过去的 Facebook F8 大会上&#xff0c;扎克伯…

编程日记2025/01/05 12:50:00

【FFmpeg】打印日志函数分析（可以根据不同级别打印不同颜色的日志）

FFmpeg的打印日志实现在FFmpeg-n4.2.1/libavutil/log.c中。 一、设置log等级 1、设置日志级别 日志默认级别是AV_LOG_INFO static int av_log_level = AV_LOG_INFO;使用av_log_set_level将日志级别设置为调试级别（AV_LOG_DEBUG） av_log_set_level(AV_LOG_DEBUG);源码： …

编程日记2025/01/05 12:40:00

创建MySQL数据库

创建数据库命令&#xff1a; CREATE DATABASE testdb DEFAULT CHARACTER SET utf8mb4 COLLATE utf8_general_ci; 注意&#xff1a;COLLATE是校对集的意思&#xff0c;可以理解为&#xff0c;排序规则等。字符集选择utf8mb4 参考文档&#xff1a;永远不要在MySQL中使用utf8&…

编程日记2025/01/05 12:30:00

Android 对象型数据库 db4o

你有木有烦恼过数据库的crud&#xff0c;有木有对sql很烦躁&#xff0c;Android虽然有封装好的ContentProvider&#xff0c;但是操作还是有点复杂了。不是很喜欢。 这两天花时间整了下DB4O&#xff0c;确实很不错&#xff0c;不用建表&#xff0c;不用写sql&#xff0c;只要写好…

编程日记2025/01/05 12:20:00

【FFmpeg】设置H264参数

0、fffmpeg源码编译时，何时需要连接libx264库？ ffmpeg其自带H.264解码功能，但是要实现H.264编码时就需要链接编码库libx264 ubuntu16.04安装libx264的库： sudo apt install libx264-148 sudo apt install libx264-dev一、设置x264参数的接口 // 获取编码器 AVCodec *co…

编程日记2025/01/05 12:10:00

TIOBE 5 月编程语言排行榜：Python、C++竞争白热化，Objective-C已沦为小众语言

作者 | 屠敏出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;日前&#xff0c;TIOBE 编程语言社区最新发布了 2019 年 5 月排行榜。和 4 月榜单相比&#xff0c;5 月编程语言排行榜的 Top 10 位置并没有太大变化。但是在 C 和 Python 激烈的竞争局势下&#xff0c;随…

编程日记2025/01/05 12:00:00

Caused by: org.xml.sax.SAXParseException: 不允许有匹配 [xX][mM][lL] 的处理指令目标。

版权声明&#xff1a;本文为 testcs_dn(微wx笑) 原创文章&#xff0c;非商用自由转载-保持署名-注明出处&#xff0c;谢谢。 https://blog.csdn.net/testcs_dn/article/details/81001749 Caused by: org.xml.sax.SAXParseException: 不允许有匹配 "[xX][mM][lL]" 的处…

编程日记2025/01/05 11:50:00

Centos 64位使用 yum 会安装两个相同软件包的解决方法

Centos 64位使用 yum 会安装两个相同软件包的解决方法 - 后山一根葱Centos 64位使用 yum 会安装两个相同软件包的解决方法[Linux]post by 后山一根葱 / 2011-6-24 1:43 Friday系统环境&#xff1a;Centos 5.6 X86_64事项&#xff1a;关于yum install 安装两个相同软件包问题今天…

编程日记2025/01/05 11:40:00

php的基础知识（四）

14、数组&#xff1a; 索引数组&#xff1a; 下标就是数字开始的。 $arr [a,b,c,1,2,3]; 关联数组&#xff1a; $arr [ a > b, c > d; e > f ]; 二维数组&#xff1a; 关联和索引混合的。 $arr [ a, b, c, d > [ e > h, f, g ], i, ]; 三维数组和多维数组。 …

编程日记2025/01/05 11:30:00