重磅：腾讯正式开源图计算框架Plato，十亿级节点图计算进入分钟级时代
整理 | 唐小引
来源 | CSDN（ID：CSDNnews）
腾讯开源进化 8 年，进入爆发期。
继刚刚连续开源 TubeMQ、Tencent Kona JDK、TBase、TKEStack 四款重点开源项目后，腾讯开源再次迎来重磅项目！北京时间 11 月 14 日，腾讯正式宣布开源高性能图计算框架 Plato，这是在短短一周之内，腾讯开源的第五个重大项目。
据腾讯官方介绍，Plato 是腾讯内部图计算 TGraph 团队整合内部资源自主研发的一款高性能图计算框架，取名 Plato 是为了致敬伟大的数学家柏拉图，目前腾讯云大数据团队正在封装 Plato，即将对所有开发者开放使用。
相对于目前全球范围内其它的图计算框架，Plato 可满足十亿级节点的超大规模图计算需求，将算法计算时间从天级缩短到分钟级，性能全面领先领先于其它主流分布式图计算框架，并且打破了原本动辄需要数百台服务器的资源瓶颈，现在，最少只需要十台服务器即可完成计算。
腾讯 Plato 团队负责人于东海表示：“Plato 已经赋能腾讯内部包括微信在内的众多核心业务，尤其是为腾讯超大规模社交网络图数据的各类计算提供支撑，解决了现有其他计算框架无法在有限资源和有限时间内完成计算的难点。Plato 不仅为腾讯创造了巨大的业务价值，开源后还将持续推动图计算技术和行业的协同发展，加速创新。”
详解腾讯高性能图计算开源框架 Plato
实际上，图计算的“图”并不是指普通的图像和照片，而是用于表示对象之间关联关系的一种抽象数据结构，图计算就是以图作为数据模型来表达问题并予以解决的过程。图计算可以将不同来源、不同类型的数据融合到同一个图里进行分析，得到原本独立分析难以发现的结果，因此成为社交网络、推荐系统、网络安全、文本检索和生物医疗等领域至关重要的数据分析和挖掘工具。
据了解，Plato 的计算性能方面极其强悍，比目前市场上最为领先的图计算框架 Spark GraphX 还高出 1-2 个数量级，它将算法计算时间从天级缩短到分钟级，性能提升数十倍，也标志着图计算全面进入分钟级时代。
另外一个巨大优势是，Plato 在内存消耗方面远小于主流的图计算框架，比 Spark GraphX 减少 1－2 个数量级，仅需 10 台服务器左右的中小规模集群，即可完成超大规模图计算，相比此前动辄需要数百台服务器的限制，资源压力和计算成本都得到了极大降低。
目前，Plato 主要提供两大核心能力：腾讯数据量级下的离线图计算和腾讯数据量级下的图表示学习。
同时，Plato 天然适配 Kubernetes、YARN 等资源调度平台，并提供支持主流文件系统的多种接口，能为开发者提供更友好的运行环境。
架构设计上，Plato 框架的核心是自适应图计算引擎，它能够根据不同类型的图算法，提供多种计算模式供开发者灵活选择，包括自适应计算模式、共享内存计算模式和流水线计算模式等。另外，还设计了良好的接口支持接入新的计算通信模式。
在计算引擎之上，Plato 为算法设计者或具体的业务提供多层次接口：从底层的 API，到图算法库，再到为具体业务量身打造的“解决方案”——图工具集。通过这些应用层的接口和工具，Plato 还可以把离线计算结果与其他机器学习算法相结合，共同支撑顶层的不同业务。
值得一提的是，目前 Plato 的算法库中的图特征、节点中心性指标、连通图和社团识别等多种算法都已经开源，未来还将进一步开源更多的算法。
性能对比
据腾讯官方介绍，Plato 的计算性能遥遥领先于主流的分布式图计算框架。下图选取了 Plato 与 Spark GraphX 在 PageRank 和 LPA 这两个 benchmark 算法的性能对比，可以看到，Plato 的性能比 Spark GraphX 高出 1-2 个数量级。
除了计算性能不足，内存占用过大也是限制大规模图计算的主要因素。Plato 的另一个巨大优势则是它的内存开销远小于主流图计算框架。从下图看到，Plato 的内存消耗比 Spark GraphX 减少了 1-2 个数量级，为超大规模图计算创造了更大的想象空间。
Plato 不仅在 benchmark 算法中独树一帜，在真实的业务算法中也同样成效卓著。在腾讯数据量级下，Plato 的计算性能也非常优秀。下图给出了 Plato 在腾讯数据量级下的共同类计算、Node2Vec、LINE、GraphSage 等典型业务算法的性能。
腾讯开源 8 年进化：86 个项目，GitHub 排名前十
从 2011 年腾讯在内部提倡以公共组件的形式共享和复用代码、2012 年发布第一个对外开源项目到今天，腾讯开源已经走过了 8 年，也已取得丰硕成果。截止目前，腾讯已经在 GitHub 上已经开源了 86 个项目，超过 1000 个贡献者参与了开源贡献，拥有超过 25 万个 Star 数，在 GitHub 全球公司贡献榜上排名前十。
同时，腾讯业已加入 Linux、Apache 等 9 大开源基金会，成为最高级别会员，并向 Linux、Apache、LF AI 等开源基金会捐赠 3 大优秀开源项目。2018 年，腾讯将高性能 RPC 开发框架 TARS，及其轻量化名字服务方案 TSeer 捐赠给 Linux 基金会，将业界领先的深度学习框架 Angel 捐赠给 Linux 旗下专注人工智能的 LF AI 基金会；2019 年，腾讯新发布的万亿级分布式消息中间件 TubeMQ 捐赠给 Apache 基金会，成为官方认可的 Incubator 项目。
总结来看，腾讯通过“三步走”的开源计划，通过代码开放和社区运营，不断深化腾讯已有的技术能力，向协同开放和社区开放治理的纵深方向发展。
具体来说，第一步是内部开源协同。首先拉通内部项目和组织，通过部门小团队作战或跨部门大团队作战的方式协同推进，以优化资源配置的方式集中优势寻求技术突破，并建立起筛选机制将代码开放出来。
第二步是外部代码开放。优化设计与代码结构，不断拓展落地场景，有效利用外部贡献者资源实现资源整合，构建技术影响力。
第三步是社区开放治理，在这一阶段，注重大规模技术推广与应用、开发者生态体系构建、社区领袖与领导力培养、全社会研发资源的优化配置四个方面。
对于腾讯为什么如此重视开源治理，腾讯开源联盟（TOSA）主席、腾讯技术工程事业群数据平台部大数据海量存储与海量计算负责人堵俊平在接受 CSDN（ID：CSDNnews）采访时谈到了至关重要的两点：「第一点，腾讯对于开源的态度非常成熟，开源不是像其他公司开源出去大家赢得掌声就结束了。开源代码开放只是第一步，第二步是建立好的社区，第三步是通过这个好的社区进行技术挖掘。给生态上的各个企业带来一些回报，这是很长期的过程，不是一次代码开放就解决的。第二点，腾讯是做社交起家的，很擅长于做人与人之间的连接，开源能够做成功和腾讯包容和沟通是离不开的，这就是为什么我们比较重视这一点。」
Plato 开源地址：
https://github.com/tencent/plato
（*本文为AI科技大本营转载文章，转载请联系原作者）
◆
精彩推荐
◆
2019 中国大数据技术大会（BDTC）再度来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。6.6 折票限时特惠（立减1400元），学生票仅 599 元！
推荐阅读
相关文章：
类似ngnix的多进程监听用例
2019独角兽企业重金招聘Python工程师标准>>> 多进程监听适合于短连接，且连接间无交集的应用。前两天简单写了一个，在这里保存一下。 #include <sys/types.h>#include <stdarg.h>#include <signal.h>#include <unistd.h&…
今日头条李磊等最新论文：用于文本生成的核化贝叶斯Softmax
译者 | Raku 出品 | AI科技大本营（ID:rgznai100）摘要用于文本生成的神经模型需要在解码阶段具有适当词嵌入的softmax层，大多数现有方法采用每个单词单点嵌入的方式，但是一个单词可能具有多种意义，在不同的背景下&#…
FFmpeg中RTSP客户端拉流测试代码
之前在https://blog.csdn.net/fengbingchun/article/details/91355410中给出了通过LIVE555实现拉流的测试代码，这里通过FFmpeg来实现，代码量远小于LIVE555，实现模块在libavformat。 在4.0及以上版本中，FFmpeg有了些变动ÿ…
虚拟机下运行linux通过nat模式与主机通信、与外网连接
首先：打开虚拟机的编辑菜单下的虚拟网络编辑器，选中VMnet8 NAT模式。通过NAT设置获取网关IP，通过DHCP获取可配置的IP区间。同时，将虚拟机的虚拟机菜单的设置选项中的网络适配器改为NAT模式。即可！ 打开linux࿰…
远程过程调用RPC简介
RPC(Remote Procedure Call, 远程过程调用)：是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的思想。 RPC是一种技术思想而非一种规范或协议，常见RPC技术和框架有： (1). 应用级的服务框架：阿里的…
iOS开发：沙盒机制以及利用沙盒存储字符串、数组、字典等数据
iOS开发：沙盒机制以及利用沙盒存储字符串、数组、字典等数据 1、初识沙盒：(1)、存储在内存中的数据，程序关闭，内存释放，数据就会丢失，这种数据是临时的。要想数据永久保存，将数据保存成文件&am…
支撑亿级用户“刷手机”，百度Feed流背后的新技术装备有多牛？
导读：截止到2018年底，我国网民使用手机上网的比例已高达98.6%，移动互联网基本全方位覆盖。智能手机的操作模式让我们更倾向于通过简单的“划屏”动作，相对于传统的文本交互方式来获取信息，用户更希望一拿起手机就能刷到…
玩转高性能超猛防火墙nf-HiPAC
中华国学，用英文讲的，稀里糊涂听了个大概，不得不佩服西方人的缜密的逻辑思维，竟然把玄之又玄的道家思想说的跟牛顿定律一般，佩服。归家，又收到了邮件，还是关于nf-hipac的，不知不觉就…
ios 沙盒 plist 数据的读取和存储
plist 只能存储基本的数据类型 和 array 字典 [objc] view plaincopy - (void)saveArray { // 1.获得沙盒根路径 NSString *home NSHomeDirectory(); // 2.document路径 NSString *docPath [home stringByAppendingPathComponent:"Document…
FFmpeg实现获取USB摄像头视频流测试代码
通过USB摄像头(注：windows7/10下使用内置摄像头，linux下接普通的usb摄像头(Logitech))获取视频流用到的模块包括avformat和avdevice。头文件仅include avdevice.h即可，因为avdevice.h中会include avformat.h。libavdevice库是libavformat的一…
重磅！明略发布数据中台战略和三大解决方案
11月15日，明略科技在上海举办以“FASTER 聚变增长新动力”为主题的2019数据智能峰会，宣布“打造智能时代的企业中台”新战略，同时推出了两大新产品“新一代数据中台”和“营销智能平台”，以及三大行业解决方案，分别是“…
Android程序完全退出的三种方法
1. Dalvik VM的本地方法 android.os.Process.killProcess(android.os.Process.myPid()) //获取PID，目前获取自己的也只有该API，否则从/proc中自己的枚举其他进程吧，不过要说明的是，结束其他进程不一定有权限，不然就…
FFmpeg通过摄像头实现对视频流进行解码并显示测试代码(旧接口)
这里通过USB摄像头(注：windows7/10下使用内置摄像头，linux下接普通的usb摄像头(Logitech))获取视频流，然后解码，最后再用opencv显示。用到的模块包括avformat、avcodec和avdevice。libavdevice库是libavformat的一个补充库(comple…
IOS数据存储之文件沙盒存储
前言： 之前学习了数据存储的NSUserDefaults，归档和解档，对于项目开发中如果要存储一些文件，比如图片，音频，视频等文件的时候就需要用到文件存储了。文件沙盒存储主要存储非机密数据，大的数据。 …
剖析Focal Loss损失函数： 消除类别不平衡+挖掘难分样本 | CSDN博文精选
作者 | 图像所浩南哥来源 | CSDN博客论文名称：《 Focal Loss for Dense Object Detection 》论文下载：https://arxiv.org/pdf/1708.02002.pdf论文代码：https://github.com/facebookresearch/Detectron/tree/master/configs/12_2017_baselines…
windows下mysql开启慢查询
mysql在windows系统中的配置文件一般是my.ini,我的路径是c:\mysql\my.ini,你根据自己安装mysql路径去查找[mysqld]#The TCP/IP Port the MySQL Server will listen onport3306#开启慢查询log-slow-queries E:\Program Files\MySQL\MySQL Server 5.5\mysql_slow_query.loglong_…
FFmpeg通过摄像头实现对视频流进行解码并显示测试代码(新接口)
在https://blog.csdn.net/fengbingchun/article/details/93975325 中给出了通过旧接口即FFmpeg中已废弃的接口实现通过摄像头获取视频流然后解码并显示的测试代码，这里通过使用FFmpeg中的新接口再次实现通过的功能，主要涉及到的接口函数包括：…
iOS经典讲解之获取沙盒文件路径写入和读取简单对象
#import "RootViewController.h" interface RootViewController () end 实现文件： implementation RootViewController - (void)viewDidLoad { [super viewDidLoad]; [self path]; [self writeFile]; [self readingFi…
Google最新论文：Youtube视频推荐如何做多目标排序
作者 | 深度传送门来源 | 深度传送门（ID:deep_deliver）导读：本文是“深度推荐系统”专栏的第十五篇文章，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文主要介绍下Google在RecSys …
Jmeter 笔记
Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试但后来扩展到其他测试领域。 它可以用于测试静态和动态资源例如静态文件、Java 小服务程序、CGI 脚本、Java 对象、数据库， FTP 服务器&#…
王贻芳院士：为什么中国要探究中微子实验？
演讲嘉宾 | 王贻芳（中国科学院院士、中科院高能物理研究所所长）整理 | 德状出品 | AI科技大本营（ID:rgznai100）日前，在2019腾讯科学WE大会期间，中国科学院院士、高能物理研究所所长王贻芳分享了中微子与光电…
一个苹果证书供多台电脑开发使用——导出p12文件
摘要 在苹果开发者网站申请的证书，是授权mac设备的开发或者发布的证书，这意味着一个设备对应一个证书，但是99美元账号只允许生成3个发布证书，两个开发证书，这满足不了多mac设备的使用，使用p12文件可以解决这…
FFmpeg中AVDictionary介绍
FFmpeg中的AVDictionary是一个结构体，简单的key/value存储，经常使用AVDictionary设置或读取内部参数，声明如下，具体实现在libavutil模块中的dict.c/h，提供此结构体是为了与libav兼容，但它实现效率低下&…
RocketMQ3.2.2生产者发送消息自动创建Topic队列数无法超过4个
问题现象RocketMQ3.2.2版本，测试时尝试发送消息时自动创建Topic，设置了队列数量为8：producer.setDefaultTopicQueueNums(8);同时设置broker服务器的配置文件broker.properties：defaultTopicQueueNums16但实际创建后从控制台及后台…
iOS各种宏定义
#ifndef MacroDefinition_h #define MacroDefinition_h //************************ 获取设备屏幕尺寸********************************************** //宽度 #define SCREEN_WIDTH [UIScreen mainScreen].bounds.size.width //高度 #define SCREENH_HEIGHT [UIScree…
开源库libuuid简介及使用
libuuid是一个开源的用于生成UUID(Universally Unique Identifier，通用唯一标识符)的库，它的源码可从https://sourceforge.net/projects/libuuid/ 下载，最新版本为1.0.3，更新于2013年4月27日，此库仅支持在类Linux下编译…
深度学习会议论文不好找？这个ConfTube网站全都有
BDTC大会官网：https://t.csdnimg.cn/q4TY作者 | 刘畅 出品 | AI科技大本营（ID:rgznai1000）最近跟身边的硕士生、博士生聊天，发现有一个共同话题，大家都想要知道哪款产品能防止掉头发？养发育发已经成了茶余饭…
Java用for循环Map
为什么80%的码农都做不了架构师？>>> 根据JDK5的新特性,用For循环Map,例如循环Map的Key for(String dataKey : paraMap.keySet()) { System.out.println(dataKey ); } 注意的是,paraMap 是怎么样定义的,如果是简单的Map paraMap new …
iOS 应用发布到AppStore流程
iOS开发者，把开发出来的App上传到App Store是必须的。下面就来详细介绍下具体流程。 方法/步骤 1打开苹果开发者中心 打开后点击：Member Center 2如果你的电脑没有保存密码，则会提示你输入开发者帐号和密码，因为我的电脑已经保存了…
FFmpeg中编码类型为rawvideo无须解码直接显示测试代码
在 https://blog.csdn.net/fengbingchun/article/details/93975325 中介绍过通过FFmpeg可以直接获取usb视频流并解码显示的测试代码，当时通过usb获取到的视频流编码类型为AV_CODEC_ID_RAWVIDEO，像素格式为AV_PIX_FMT_YUYV422，其实编码类型为r…