当前位置：首页 > 编程日记 > 正文

2020，国产AI开源框架“亮剑”TensorFlow、PyTorch

编程日记 2024-12-04 17:00:00

「AI技术生态论」人物访谈栏目是CSDN发起的百万人学AI倡议下的重要组成部分。通过对AI生态专家、创业者、行业KOL的访谈，反映其对于行业的思考、未来趋势的判断、技术的实践，以及成长的经历。

2020年，CSDN将对1000+人物进行访谈，形成系列，从而勾勒出AI生态最具影响力人物图谱及AI产业全景图。本文为「AI技术生态论」系列访谈第05期。

百万人学AI你也有份！参与文章评论，评论区留言入选，可获得价值299元的「2020 AI开发者万人大会」在线直播门票一张。

作者 | Just

出品 | AI科技大本营（ID:rgznai100）

2016年，百度PaddlePaddle打响了国产AI框架开源的第一枪。

但多年以后，当中国的AI开发者回首国内开源往事，也准会想起那个由清华、旷视、华为三大顶级学界和业界机构陆续宣布AI框架开源的2020年的3月末。

在那个3月28日，华为在开发者大会2020上完成了轮值董事长徐直军在去年8月的承诺，宣布正式开源MindSpore，这是一款支持端边云全场景的深度学习训练推理框架。

时间再往回拨四天，AI独角兽旷视科技宣布开源天元（MegEngine），强调这是训练推理一体化、动静态合一的工业级深度学习框架。

3月20日，清华大学计算机系图形实验室开源AI框架计图（Jittor），这是由中国学界开源的首个AI框架，直接对标PyTorch。

在短短8天时间里，来自中国的AI开源框架“你方唱罢我登台”，向AI开源框架领域的霸主们亮剑，这也许会成为国产深度学习框架开源历史上重要的高光时刻。

深度学习开源框架领域的一个既定事实是，TensorFlow、PyTorch基本两分天下，从技术能力到生态建设，它们能给AI落地提供有力支撑，可以满足大部分企业在其中构建自己的AI应用。反观国产AI开源框架，即便百度PaddlePaddle已开源四年，腾讯Angel、阿里X-DeepLearning等框架也相继开源，但从市场影响力和使用规模来看，还难与前两者抗衡。

既然如此，在AI框架“开源”，并拥有完整框架生态的情况下，中国企业和机构为什么要再另造一套技术轮子，他们自研AI开源框架的价值和意义是什么？

技术创新空间

AI开源框架的搭建是一项费时费力的大工程。如果没有超越现有主流框架的想法，去重复造一套没有技术创新的轮子，“性价比”似乎不高，对技术人员来说吸引力也不大。

TensorFlow、PyTorch的强大毋庸置疑，但其技术能力也并非没有提升空间。随着深度学习新技术的出现，任务复杂度不断提高，由于架构设计和不断扩充等原因，导致这些主流框架系统变得复杂，架构优化和移植愈加困难，新模型的实际性能还有待提升。

发现这一优化空间后，清华大学计算机系图形实验室的博士生团队希望能有一个在保持高效的同时能适应各种智能硬件，有较强通用性和可扩展性的深度学习平台。

GitHub地址：https://github.com/Jittor/Jittor

计图（Jittor）就是这样一个产物。它采用创新的元算子融合和动态编译技术，深度优化内存，能有效提升系统的运行性能和通用性，确保实现和优化分离，大幅提升应用开发的灵活性、可拓展性和可移植性。与其他主流框架相比，具有多项先进特性。

实际上，与Pytorch相比，通过在计图平台实现ResNet、VGG、SSD、DeepLab、LSGAN等多个网络模型，计图的推理和训练速度达到10%-50%的性能提升。

虽然初出茅庐的计图还有待持续迭代，但从技术创新角度，中国学术性科研结构要有勇气和能力去做出开拓性的尝试。

同样，AI框架所存在的开发门槛高、运行成本高、部署难度大等亟需解决的问题，也是华为开发MindSpore框架的一大缘由。

在去年CSDN举办的2019中国AI开发者大会上，华为MindSpore资深架构师于璠介绍了其三大设计理念：提供一种新的编程范式，执行新模式和全场景按需协同。

“MindSpore与要对标的Tensorflow是完全不一样的东西。”他称，这种技术方向有相当的技术先进性，但挑战比较大，所以华为想在这方面发力。

企业业务需要

除了技术创新外，还要考虑到贴近AI实际业务场景。在这一点上，或许那些基于自身应用场景来构建AI框架的业界企业更有发言权。

依靠数据红利和庞大的应用场景，中国AI产业应用层的发展遥遥领先。但当AI行业在某种程度上发展到一定阶段的时候，AI企业如果不掌握底层技术，就很难支持上层应用以快速迭代。一流科技创始人袁进辉告诉AI科技大本营（ID:rgznai100），“在底层软硬一体化发展的当下，如果对新框架掌握的不深，就很软硬件协同设计，在国际上形成一定竞争力。”

GitHub地址：https://github.com/MegEngine

旷视的天元（MegEngine）作为旷视Brain++的核心组件之一，是一套伴随旷视自身AI产业实战经验的框架。

据旷视所说，它从2014年开始研发，2015年全员使用，不过Google在同年发布并开源 TensorFlow，同样适用计算图的方式来做框架对他们造成很大冲击，但他们发现TensorFlow的性能比自研框架要慢若干倍。

此后，在工业实践中，他们不断对底层框架、数据和数据设施进行迭代，最终完成了从研发到业务全面向自有深度学习框架和自有计算集群的迁移。旷视研究院高级技术总监田忠博指出，在过去几年，旷视在研发过程中遇到了很多行业共通的痛点，而天元的核心特色就是解决这些痛点。

一直到今年3月开源，旷视目前所有的算法都基于天元进行训练和推理，无论是AI竞赛还是工程化、产品化都由其做技术支撑。

GitHub地址：https://github.com/mindspore-ai/mindspore

MindSpore的研发也与华为自身业务接轨有密切关联。在2018年华为全联接大会上，华为首次发布了全栈全场景AI解决方案，包括芯片、芯片使能、训练和推理框架和应用使能全堆栈方案，可在公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等全场景部署。

显然，AI计算框架是其AI解决方案中的重要一环。MindSpore首席科学家陈雷表示，MindSpore原生适应每个场景包括端、边缘和云，并能够在按需协同的基础上，通过实现AI算法即代码，着重提升易用性并降低AI开发者的开发门槛。

在与华为其他“自研”技术模块联动方面，MindSpore上接其发布的业界首款企业级AI应用开发专业套件ModelArts Pro。在底层支持GPU、CPU等其它处理器的同时，MindSpore也可以与华为昇腾AI处理器的协同优化，实现运行态的高效，大大提高计算性能。

国家新基建战略

中国AI界争相构建AI开源框架的背后，技术和业务层面的考量因素当然重要，但也不应忽视国家层面的政策支持。

对于AI基础设施的建设，中国政府在《新一代人工智能发展规划》等关于AI顶层规划的政策中都着重提及，除了加大应用层技术落地，更希望业界和学界深入AI底层技术研发。

近两年，基础技术的“卡脖子”话题成为近两年中国科技界探讨的热点，担心中国AI的发展会像芯片发展那样遭遇空中楼阁的困境。而以高文院士为代表的AI专家也在四处布道“做人工智能必须要做开源，中国要想发展好新一代的人工智能，必须要有高效和风险可控的开源开放平台”的观点。

近期，由于疫情冲击经济，在政府高层推动下，市场更是掀起一股“新基建”的热潮，其中以5G、大数据中心、人工智能和工业互联网组成的数字化基础设施备受关注。对有雄心发展AI的企业或者国家来说，通过自主研发来掌握AI底层技术无疑是一项重大战略。

实际上，清华“计图”项目背后得到了国家自然科学基金委创新群体项目、北京信息科学与技术国家研究中心团队项目等政府层面的资助支持。

计图团队核心开发成员梁盾对AI科技大本营坦陈，中国目前深度学习研究和应用主要依赖于国外平台，的确面临着卡脖子的风险，所以一些国内的IT企业也推出了自己的平台。“中国应该在人工智能生态的全产业链上占有一席之地。”

除了计算框架仍然存在着大量亟需优化解决的问题，华为做MindSpore的另一大缘由是技术战背景。于璠称，必须要有自主可控的全场景的计算框架。

计图、天元、MindSpore的接连开源或许会给中国开发者做硬核开源项目打一剂强心针。

袁进辉称，中国开发者对开源框架的敬畏之心一直太强，不认为中国团队能做一套开源框架，但现在对这些开源框架有足够认识后，再造一个类似Pytorch技术路线的框架难度也不会很大。

“今年应该是国内开源AI框架比较热闹的一年，”袁进辉透露，一流科技的OneFlow框架也将在不久后开源，他对国内技术框架的竞争力充满信心，更重要的是，“中国AI框架的发展也代表国内从应用驱动向更内核的技术研究进发了。”

无论如何，计图、天元、MindSpore点燃了2020年国产AI框架开源的星星之火，至于未来的影响力是否燎原，是否能真正与TensorFlow、PyTorch一较高低，投票权在每一位开发者的手中。

【end】◆精彩推荐◆推荐阅读百万人学AI：CSDN重磅共建人工智能技术新生态清华学霸组团的工业AIoT创企再获数千万融资：玩家应推动在边缘 AI 芯片上跑算法阿里文娱测试实战：机器学习+基于热度链路推荐的引流，让对比测试更精准另一种声音：容器是不是未来？1 分钟抗住 10 亿请求！某些 App 怎么做到的？| 原力计划探索比特币独特时间链、挖矿费用及场外交易的概念你点的每个“在看”，我都认真当成了AI

https://www.dkcj.cn/info/30376.html

2020，国产AI开源框架“亮剑”TensorFlow、PyTorch

相关文章：

Centos下部署Solr 搜索引擎

Redis源码分析-TCMalloc

让AI训练AI，阿里和浙大的“AI训练师助手”是这样炼成的

用 Navicat for Oracle 管理 Oracle10g/11g 数据库

借一个同事的经历，谈一谈程序员的成长

select,epoll,poll比较

华为开发者大会HDC.Cloud技术探秘：云搜索服务技术实践

从今天开始，自己做SEO。

Elasticsearch2.2.0配置文件说明

各种类型的字节数

154 万 AI 开发者用数据告诉你，中国 AI 如何才能弯道超车？| 中国 AI 应用开发者报告...

中国移动用户能不能用WCDMA网？（世界杯与通信2）

平安陆金所-点金计划，简直是骗子行为。

深度分析define预处理指令

建立YUM服务器CENTOS

数据库设计的10个最佳实践

十进制转化为十六进制分割高低位

Nginx内存池--pool代码抽取(链表套路)

阿里再次主办大数据世界杯， KDD Cup2020正式开赛

grep 正则表达式

Mybatis缓存机制理解及配置

浅谈无缓存I/O操作和标准I/O文件操作区别（转载）

Android之ListActivity（一）：布局与数据绑定

用于单图像超分辨率的对偶回归网络，达到最新SOTA | CVPR 2020

老生常谈，joomla wordpress drupal，你该选择哪个CMS？

利用TCMalloc替换Nginx和Redis默认glibc库的malloc内存分配

Silverlight Analytics Framework(开源分析框架)

Python炫技操作：条件语句的七种写法

puppet(1.7-2.1)

ldconfig动态链接库管理以及修改ld.so.conf.d