搜狐、美团、小米都在用的Apache Doris有什么好？ | BDTC 2019
【导读】12 月 5-7 日，由中国计算机学会主办，CCF 大数据专家委员会承办，CSDN、中科天玑协办的中国大数据技术大会（BDTC 2019）在北京长城饭店隆重举行。100+ 顶尖技术专家、1000+ 大数据从业者齐聚于此，以“大数据驱动智能+”为主题，聚焦智能时代大数据技术的发展曲线，围绕大数据与社会各行业相结合的最新实践，进行了深度解读和讨论。
马如悦，当前为百度杰出架构师，主要负责百度内外部大数据处理相关产品的规划和研发，其领导研发的Doris分析数据库在2018年成为Apache开源孵化项目。在领导分析数据库方向之前一直是百度分布式计算方向的技术负责人，也是百度Hadoop团队的创始人。
Doris是Apache的孵化项目，作为MPP架构的关系型分析数据库，其性能表现卓越。此外Doris高度兼容MySQL协议，支持在线表结构变更且不依赖任何外部存储；扩展能力强，单集群可水平扩展至200台以上；多副本数据、元数据高可用，同时支持 Kafka流式导入，未来希望吸引更多外部贡献者加入做出有效改进。
以下内容为演讲实录：
Doris作为Apache的孵化项目，有很多体量比较大的企业在使用，例如搜狐 、一点资讯、美团、小米、京东等。Doris产品在百度的最初研发大概在十年之前，当前内部偏数据仓库的业务基本都运行在其上，作为MPP架构的关系型分析数据库，起初在设计时主要追求便捷与问题解决，支持PB级别。由于传统数据仓库主要是商业智能的方向，并没有对高并发、高可用做很多优化，而是集中在多维分析与报表查询等功能，而Doris可以确保7×24小时服务，通过滚动升级不中断线上服务，Doris在2017年在Github上开源 ，并于2018年进入Apache孵化器。
具体说到Doris的特色，性能卓越是不可忽视的一方面。了解一种数据库的卓越性能，我们需要看其场景，离开场景泛泛谈数据库性能，是不科学的。Doris每个单后端可以做到在高并发情况下做到每秒钟8000+次的查询性能，100台节点的集群基本可以达到几万到十几万QPS的性能，这个性能基本可以满足类似百度统计这种，支撑全网几十万网站与APP的查询要求。此外，Doris高度兼容MySQL协议，支持在线表结构变更；只设FE、BE两个进程，方便部署，其中FE 负责元数据存储、查询解析和规划，BE 负责数据存储、执行查询算子。
基于此，我们都知道类似Kylin这类系统在线变更极其不便，仅仅是增加删除列可能都需要重新做表，影响在线服务，并且依赖很多Hadoop组件，使得部署使用非常复杂。但Doris高度集成并没有过多依赖外部存储，快速安装并可做到主节点高可用，就算是切换也可做到无感知并操作简单。此外，Doris扩展性强，架构优雅，其单集群可水平扩展至200台以上，支持Kafka流式导入集群，通过ODBC、JDBC链接前端可视化工具或开发应用等，表现出高可用、多副本等优势特性，Doris作为大企业开源的软件，是在实践中千锤百炼累计出来的，对解决实际问题的效果很好。
在京东，他们主要采用Doris来解决京东广告平台的报表查询，需要满足每日千万级查询、每日百亿级增量、毫秒级查询延迟以及每日百亿报表查询/多维分析/日志分析等数据指标。Doris在618大促期间表现突出。此外在美团数据仓库迁移的过程中，原本是基于Apache Kylin的数据建模，由于 Kylin的Cube预构建会造成较多的数据重复，保持数据时效性还需要每天需要对大量历史数据进行重计算；但现在主要基于Doris进行数据建模，按天同步维度表和事实表，ad-hoc query查询即可。
未来关于Doris，我们希望吸引更多的外部贡献者加入到社区来，一起对Doris作出改进 。Doris下一步的主要研发规划，包括存储和计算分离。我们发现目前有很多的历史数据存在于存储节点之上，未来希望可以存储在云上的对象存储中，将Doris改进为云原生数据库。毕竟在云上部署弹性的计算资源，一旦计算与存储分离，成本也会相应得到降低；引入新的存储格式，提升存储效率，包括索引、新的实时更新存储引擎等，以便提升效率；此外还会在查询优化方面下功夫，例如研发新的查询优化框架，支持CBO。
目前云上也有很多企业级用户，每天都在使用Doris的商业版本。大家可以持续关注Doris社区。
（*本文为AI科技大本营翻译文章，转载请微信联系 1092722531）
◆
精彩推荐
◆
2020年，由 CSDN 主办的「Python开发者日」活动（Python Day）正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作，联手顶尖企业、行业与技术专家，通过精彩的技术干货内容、有趣多元化的活动等诸多体验，共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来，我们和中国万千开发者一起分享技术、践行技术，铸就中国原创技术力量。
【Python Day——北京站】现已正式启动，「新春早鸟票」火热开抢！2020年，我们还将在全国多个城市举办巡回活动，敬请期待！
活动咨询，可扫描下方二维码加入官方交流群~
CSDN「Python Day」咨询群 ????
来~一起聊聊Python
如果群满100人，无法自动进入，可添加会议小助手微信：婷婷，151 0101 4297（电话同微信）
推荐阅读
伯克利新无监督强化学习方法：减少混沌所产生的突现行为
机器推理文本+视觉，跨模态预训练新进展
中国搜索 20 年：易守难攻、刚需不减！
悲痛！临近年关，一位 IT 创业者自杀，曾卖房给员工发工资
年终没有奖
以太坊 2.0 前途光明！
你点的每个“在看”，我都认真当成了AI
相关文章：
cacti邮件告警设置
功能说明对指定流量图形（指定接口）设置最高或最低流量阀值，当流量出现异常偏高或偏低触发阀值，系统自动将异常信息以邮件形式通知指定收件人。如果收件人邮箱是139邮箱，还可以增设短信通知功能。设置前准备设置该功能之…
跨平台PHP调试器设计及使用方法——高阶封装
在《跨平台PHP调试器设计及使用方法——协议解析》一文中介绍了如何将pydbgp返回的数据转换成我们需要的数据。我们使用该问中的接口已经可以构建一个简单的调试器。但是由于pydbgp存在的一些问题，以及调试器需要的一些高级功能，我们还需要对这些接口进行…
Oracle的口令文件(passwordfile)的讲解（摘录）
初学oracle，很多概念迷糊，今天看到这文章，让我有一个比较清晰的认识。转载[url]http://www.itpub.net/viewthread.php?tid906008&extra&page1[/url]1、os认证oracle安装之后默认情况下是启用了os认证的，这里提到的os认证…
如何优雅地使用pdpipe与Pandas构建管道？
作者 | Tirthajyoti Sarkar译者 | 清儿爸编辑 | 夕颜出品 | AI科技大本营（ID: rgznai100） 【导读】Pandas 是 Python 生态系统中的一个了不起的库，用于数据分析和机器学习。它在 Excel/CSV 文件和 SQL 表所在的数据世界与 Scikit-learn 或 Te…
第 十 天 ： 添 加 硬 盘 和 分 区 挂 载 等
小Q：狼若回头，必有缘由，不是报恩，就是***； 事不三思必有败，人能百忍则无忧。今天的进度虽然慢了，但是学习状态还是一如往常，只不过今天遇到了不少新的知识点，需要好好想想…
从4个月到7天，Netflix开源Python框架Metaflow有何提升性能的魔法？
作者 | Rupert Thomas译者 | 凯隐编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导语】Metaflow 是由 Netflix 开发，用在数据科学领域的 Python框架，于 2019 年 12 月正式对外开源。据介绍，Metaflow 解决…
SOA标准发展混乱 国内业务缺少经验
近年来，SOA已经成为国际及我国信息技术领域的重大热点之一。从2005年至今，SOA逐渐成为影响中国IT系统构建的主导思想。从2006年开始，SOA的建设方法已在我国部分行业信息化项目中开始得以越来越广泛的应用。 但热潮背后， SOA概念在…
跨平台PHP调试器设计及使用方法——界面设计和实现
一个优秀的交互设计往往会影响一个产品的命运。在设计这款调试器时，我一直在构思这款调试器该长什么样子。简单、好用是我设计的原则，于是在《跨平台PHP调试器设计及使用方法——立项》一文中，我给出了一个Demo。之后实现的效果也与之变化并不…
AJAX安全-Session做Token
个人思路，请大神看到了指点 个人理解token是防止扫号机或者恶意注册、恶意发表灌水，有些JS写的token算法，也会被抓出来被利用，个人感觉还是用会过期的Session做token更好，服务器存储，加载到客户端页面&…
跨平台PHP调试器设计及使用方法——使用
经过之前六篇博文的分析和介绍，大家应该对这套调试器有个初步的认识。本文我将讲解它的使用方法。（转载请指明出于breaksoftware的csdn博客） 上图是该软件界面的布局，我们之后的讲解也将围绕着这些功能展开。 文件夹管理 在查看一…
管理7k+工作流，月运行超10000万次，Lyft开源的Flyte平台意味着什么？
作者 | Allyson Gale译者 | 刘畅编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】Flyte 平台可以更容易的创建并发，可伸缩和可维护的工作流，从而进行机器学习和数据处理。Flyte 已有三年多的训练模型和数据处理经…
Jmeter组件执行顺序与作用域
一、Jmeter重要组件： 1）配置元件---Config Element： 用于初始化默认值和变量，以便后续采样器使用。配置元件大其作用域的初始阶段处理，配置元件仅对其所在的测试树分支有效，如，在同一个作用域…
跨平台PHP调试器设计及使用方法——拾遗
之前七篇博文讲解了跨平台PHP调试器从立项到实现的整个过程，并讲解了其使用方法。但是它们并不能全部涵盖所有重要内容，所以新开一片博文，用来讲述其中一些杂项。（转载请指明出于breaksoftware的csdn博客） 触发调试的…
召唤超参调优开源新神器：集XGBoost、TensorFlow、PyTorch、MXNet等十大模块于一身...
整理 | 凯隐编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】Optuna是一款为机器学习任务设计的自动超参数优化软件框架，是一款按运行定义(define-by-run) 原则设计的优化软件，允许用户动态地调整搜索空间&#…
Linux下的Silverlight：Moonlight 1.0 Beta 1发布了
Moonlight是微软Silverlight的一个开源实现，其目标平台是Linux与Unix/X11系统。自从2007年9月开始，Moonlight就在Mono项目下进行了开发，它是由Novell发起并资助的。现在，Moonlight 1.0 Beta 1已经向公众发布了。 Novell和Mono宣布…
在visual studio 2010中调用ffmpeg
转自：http://blog.sina.com.cn/s/blog_4178f4bf01018wqh.html 最近几天一直在折腾ffmpeg，在网上也查了许多资料，费了不少劲，现在在这里和大家分享一下。 一、准备工作本来是想自己在windows下编译ffmpeg生成lib、dll等库文件的&am…
无线路由器与无线AP的区别
摆脱线缆的羁绊，手捧一杯香醇的咖啡在家中的任何角落都可以无拘无束和网友谈天说地──这就是无线的魅力！在无线网络迅猛发展的今天，无线局域网（Wireless Local-Area Network，简称WLAN）已经成为许多SOHO家庭…
Simple Dynamic Strings(SDS)源码解析和使用说明一
SDS是Redis源码中一个独立的字符串管理库。它是由Redis作者Antirez设计和维护的。一开始，SDS只是Antirez为日常开发而实现的一套字符串库，它被使用在Redis、Disque和Hiredis等作者维护的项目中。但是作者觉得这块功能还是比较独立的，应该让其…
“不会Linux，到底有多危险？”骨灰级成程序员：基本等于自废武功！
说起程序员的必备技能，我想大家都可以说很多，比如：算法、数据结构、数学、编程语言等等。对于程序员来讲，这些底层能力固然重要，但是，工具同样也是如此，比如常被大家所忽视的：Linux。…
“Uncaught TypeError: string is not a function”
http://www.cnblogs.com/haitao-fan/archive/2013/11/08/3414678.html 今天在js中写了一个方法叫做search()，然后点击按钮的时候提示： “Uncaught TypeError: string is not a function” 百思不得其解啊，我的js木有问题啊啊.... 后来才发现酱…
关于Nikon Ai AF 28mm F1.4D遮光罩的问题
-- 好不容易找到百变妖，确实比较妖！！遮光罩不好找，原厂推荐的HK-7基本属于古董中的古董。 爬文很久，终于找到一篇国外的介绍，说可以用HK-4代替，比HK-7效果更好，而且可以用85mm 1.4D-…
Simple Dynamic Strings(SDS)源码解析和使用说明二
在《Simple Dynamic Strings(SDS)源码解析和使用说明一》文中，我们分析了SDS库中数据的基本结构和创建、释放等方法。本文将介绍其一些其他方法及实现。（转载请指明出于breaksoftware的csdn博客） 字符串连接 SDS库提供下面两种方法进行字符串…
亚马逊机器学习服务：深入研究AWS SageMaker
作者 | Manish Manalath译者 | Shawn编辑 | Carol出品 | AI科技大本营（ID: rgznai100） 机器学习是一个从数据中发现模式的强大概念。但是，如果您尝试过从零开始构建机器模型，那么您一定知道设计一个可扩展的机器学习工作流是多大的…
Java Timer 定时器的使用
一、延时执行首先，我们定义一个类，给它取个名字叫TimeTask，我们的定时任务，就在这个类的main函数里执行。 代码如下：package test;import java.util.Timer;public class TimeTaskTest { public static void main(Str…
Redis源码解析——前言
今天开启Redis源码的阅读之旅。对于一些没有接触过开源代码分析的同学来说，可能这是一件很麻烦的事。但是我总觉得做一件事，不管有多大多难，我们首先要在战略上蔑视它，但是要在战术上重视它。除了一些高大上的技术，我们…
asp.net客户端脚本验证小技巧
通用的客户端脚本验证 Code//验证客户端function checkclient() { var list document.all; for(var i0 ;i<list.length; i) { var h list[i].hint; if(h ! null && h ! "") { if(list[i].isdrop"…
5个可以帮助你提高工作效率的新AI工具
作者 | Kyrylo Lyzanets译者 | 火火酱编辑 | Carol出品 | AI科技大本营（ID: rgznai100） 毫无意义的新闻、故事和活动会占用你每天多少的工作时间？假如你是一名需要高绩效的高管或专业人士，如果在工作中可以不分心，那你…
Centos6.5更换163源 epel源
想必大家都遇到过，安装新的centos系统，使用yum去安装软件的时候，要么找不到，要么慢的让人发疯。网上其实办法很多，直接更换163源就ok，但是基本所有的文章都是直接wget下163的源，但是不知道为什么…
图模型+Bert香不香？完全基于注意力机制的图表征学习模型Graph-Bert
作者 | Jiawei Zhang、Haopeng Zhang、Congying Xia、Li Sun译者 | 凯隐编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】本文提出了一种全新的图神经网络 Graph-Bert，仅仅基于 Attention 机制而不依赖任何类卷积或聚合操作…
闭关纪要17.Google app engine的简单应用
在上面用了十一篇博客的文章详细的介绍了，Step1账户登录系统之后，从现在开始，继续写闭关纪要，因为Step1账户登录系统也是闭关工作的一部分，因此保留序号，这篇纪要在上次的闭关纪要5.WML,UTF-8,BOM,签名及其…