Apache Kylin v2.5.0正式发布，开源分布式分析引擎
文章转载自开源中国，作者 Apache Kylin 社区
日前，Apache Kylin 社区宣布，Apache Kylin v2.5.0 正式发布。
Apache Kylin 是一个开源的分布式分析引擎，旨在为极大数据集提供 SQL 接口和多维分析（OLAP）的能力。
这是继 Kylin v2.4.0 版本后的又一个新功能版本，该版本引入了许多极具价值的改进，包括但不限于以下几类：
All-in-Spark 的 Cubing 引擎
Kylin 的 Spark 引擎将使用 Spark 运行 Cube 计算中的所有分布式作业，包括获取各个维度的不同值，将 Cuboid 文件转换为 HBase HFile，合并 Segment，合并词典等。默认的 Spark 配置也经过优化，使得用户可以获得开箱即用的体验，相关开发任务是 KYLIN-3427, KYLIN-3441, KYLIN-3442。
Spark 任务管理也有所改进：一旦 Spark 任务开始运行，用户就可以在 Web 控制台上获得作业链接；如果用户丢弃该作业，Kylin 将立刻终止 Spark 作业以及时释放资源；如果重新启动 Kylin，它可以从上一个作业恢复，而不是重新提交新作业。
MySQL 做 Kylin 元数据的存储
在过去，HBase 是 Kylin 元数据存储的唯一选择。在某些情况下 HBase 不适用，例如使用多个 HBase 集群来为 Kylin 提供跨区域的高可用，这里复制的 HBase 集群是只读的，所以不能做元数据存储。
现在我们引入了 MySQL Metastore 以满足这种需求，此功能现在处于测试阶段，更多内容参见 KYLIN-3488。
Hybrid model 图形界面
Hybrid 是一种用于组装多个 Cube 的高级模型，它可用于部分满足 Cube 的 Schema 要发生改变的情况。这个功能过去没有图形界面，因此只有一小部分用户知道它,现在我们在 Web 界面上开启了它，以便更多用户可以尝试。
默认开启 Cube Planner
Cube planner 可以极大地优化 Cube 结构，减少构建的 Cuboid 数量，从而节省计算/存储资源并提高查询性能。它是在 Kylin v2.3 中引入的，但默认情况下没有开启，为了让更多用户看到并尝试它，我们默认在 v2.5 中启用它。算法将在第一次构建 Segment 的时候，根据数据统计自动优化 Cuboid 集合。
改进的 Segment 剪枝
Segment（分区）修剪可以有效地减少磁盘和网络I / O，因此大大提高了查询性能。过去，Kylin 只按分区列 (partitiondate column) 的值进行 Segment 的修剪。如果查询中没有将分区列作为过滤条件，那么修剪将不起作用，会扫描所有 Segment。
现在从 v2.5 开始，Kylin 将在 Segment 级别记录每个维度的最小/最大值。在扫描Segment 之前，会将查询的条件与最小/最大索引进行比较, 如果不匹配，将跳过该Segment 。更多详情请查看：KYLIN-3370 。
在 YARN 上合并字典
当 Segment 合并时，它们的词典也需要合并。在过去，字典合并发生在 Kylin 的 JVM 中，这需要使用大量的本地内存和 CPU 资源，在极端情况下（如果有几个并发作业），可能会导致 Kylin 进程崩溃。因此，一些用户不得不为 Kylin 任务节点分配更多内存，或运行多个任务节点以平衡工作负载。
从 Kylin v2.5 开始，Kylin 将把这项任务提交给 Hadoop MapReduce 和 Spark ，这样就可以解决这个瓶颈问题，更多信息请查看 KYLIN-3471。
改进使用全局字典的 Cube 构建性能
全局字典 (Global Dictionary) 是 Bitmap 精确去重计数的必要条件。如果去重列具有非常高的基数，则 GD 可能非常大，在 Cube 构建阶段，Kylin 需要通过 GD 将非整数值转换为整数，尽管 GD 已被分成多个切片，可以分开加载到内存，但是由于去重列的值是乱序的，Kylin 需要反复载入和载出 (swapin/out) 切片，这会导致构建任务非常缓慢。
该增强功能引入了一个新步骤，为每个数据块从全局字典中构建一个缩小的字典，随后每个任务只需要加载缩小的字典，从而避免频繁的载入和载出，性能比以前快3倍。查看 KYLIN-3491 了解更多信息。
改进含 TOPN,COUNT DISTINCT 的 cube 大小的估计
Cube 的大小在构建时是预先估计的，并被后续几个步骤使用，例如决定 MR / Spark 作业的分区数，计算 HBase region 切割等，它的准确与否会对构建性能产生很大影响。当存在 COUNTDISTINCT，TOPN 的度量时，因为它们的大小是灵活的，因此估计值可能跟真实值有很大偏差。在过去，用户需要调整若干个参数以使尺寸估计更接近实际尺寸，这对普通用户有点困难。
现在，Kylin 将根据收集的统计信息自动调整大小估计。这可以使估计值与实际大小更接近。查看 KYLIN-3453 了解更多信息。
支持 Hadoop 3.0/HBase 2.0
Hadoop 3.0 和 HBase 2.0 开始被许多用户采用。现在 Kylin 提供使用新的 Hadoop 和 HBaseAPI 编译的新二进制包。我们已经在 Hortonworks HDP 3.0 和 Cloudera CDH 6.0 上进行了测试。
所有v2.5.0相关的改动，可在 release notes 上找到：
https://kylin.apache.org/docs/release_notes.html
要下载 Apache Kylin v2.5.0 源代码或二进制包，请访问下载页面：
http://kylin.apache.org/download/
升级
参考升级指南 upgrade guide：
https://kylin.apache.org/docs/howto/howto_upgrade.html
原文地址：
https://www.oschina.net/news/100613/apache-kylin-2-5-0-released
推荐阅读：给理工男女的一个神奇网站
【完】
2018 AI开发者大会
◆
只讲技术，拒绝空谈
◆
2018 AI开发者大会首轮重磅嘉宾及深度议题现已火热出炉，扫码抢“鲜”看。国庆特惠，购票立享 5 折优惠！
相关文章：
不同职业阶段的修炼: 多与少
有多才有少 开学第一天，教室里挤满来选修“领导”课程的学生，这一群两年后就会变成企业竞相争取的名校MBA，心中难免兴奋地等待教授的出现。教室门被推开后，走进三个人，教授后面跟着一个年轻的陌生人，还有一…
underscorejs之 _.indexBy(list, iteratee, [context])
语法 _.indexBy(list, iteratee, [context]) 说明 给定一个list，和 一个用来返回一个在列表中的每个元素键 的iterator 函数（或属性名）， 返回一个每一项索引的对象。和groupBy非常像，但是当你知道list的key是唯一的时候…
linux shell $0怎么输出,linux shell中$0,$?,$!等的特殊用法
一、Shell脚本中$0、$?、$!、$$、$*、$#、$等的意义说明(1)$$Shell本身的PID(ProcessID，即脚本运行的当前进程ID号)(2)$!Shell最后运行的后台Process的PID(后台运行的最后一个进程的进程ID号)(3)$?最后运行的命令的结束代码(返回值)即执行上一个指令的返回值 (显示…
云从科技完成B+轮超10亿元融资，多个国家基金进入
10 月 8 日，中国人工智能国家队云从科技宣布正式完成新一轮超 10 亿元人民币融资，除元禾原点、越秀金控，刘益谦等原有股东继续跟投外，本轮新增了多家中国国家战略投资者，其中不乏知名地方政府基金，包括中国…
12×××求职经过-之求职信
求职信： 鼠：本地户口，以前在武钢工地打过工，转移过一部分钢材的所有权，被当做失足青年挽救三年。擅长上夜班，会开麻木，求社区服务，家政等职。 牛：身体好，能吃…
面向对象三大特性一一封装（encapsulation）
为什么要封装？ 我们看电视，只要按一下开关和换台就行了。有必要了解电视的内部结构吗？有必要了解显像管吗？ 封装是为了隐藏对象内部的复杂性，只对外公开简单的接口。便于外界调用，从而提高系统的可扩展性&a…
云计算赋能人工智能，未来的红利在哪？
“云”这个概念对于身处于信息时代的我们而言越来越熟悉，而云计算平台作为对计算机软硬件资源进行集中存储、管理的平台，已经不再是一个遥远的 IT 概念，它开始渗透到各行各业，未来将会像水和电一样，作为基础设施&#…
pxe linux 配置文件,Linux PXE 部署
一、基础环境准备Linux配置静态IP-192.168.5.1# vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICEeth0ONBOOTyesBOOTPROTOstaticIPADDR192.168.5.1NETMASK255.255.255.0:x --保存退出#service network restart#service iptables stop二、准备安装镜像#mount /dev/cdrom /m…
Keras还是TensorFlow？深度学习框架选型实操分享
译者| 王天宇、林椿眄责编| Jane、琥珀出品| AI科技大本营深度学习发展势头迅猛，但近两年涌现的诸多深度学习框架让初学者无所适从。如 Google 的 TensorFlow、亚马逊的 MXNet、Facebook 支持的 PyTorch、Theano、Caffe、CNTK、Chainer、百度的 PaddlePaddle、DSSTN…
Android -- queryIntentActivities
某些时候你想要知道某个APP是否有注册了一个明确的intent，比如说你想要检查某个receiver是否存在，然后根据是否存在来这个receiver来在你的AP里面enable某些功能。我们可以通过PackageManager来check它。 code public boolean isIntentAvailable(Context…
吉大c语言程序设计作业一,吉林大学历年C语言程序设计试题及答案.doc
吉林大学历年C语言程序设计试题及答案吉林大学历年C语言程序设计试题及答案(5)END2000年试题答案一、(1)解题思想： 用5个数 a,b,c,d,e,来回替换，最终f(n)算出。设计程序如下：int F(int n){ if(n <5) return n ;int temp,a1;b2;c3;d4;e5;fo…
忍不住心中的激动
天天上自行车旅行网，看到别人的出行游记，心里很羡慕，也很冲动，想想还有1个多月就可以出发了，不知道能坚持到哪里，恒心是有的，可身体就不知道，不过这次时间可以不用那么紧，…
程序员入错行怎么办？
程序员应该选择什么技术领域才能获得最高的回报？本文详细解读了 2018 年最热门的五大领域，对行业现状、薪资概况及具体的技能要求给出了深入的分析，希望给担心“入错行”的你提供些指导。七天国庆黄金周转眼就过，退散的除了出游热…
关于局域网共享访问问题总结
Windows网上邻居互访的基本条件： 1) 双方计算机打开，且设置了网络共享资源； 2) 双方的计算机添加了 "Microsoft 网络文件和打印共享" 服务； 3) 双方都正确设置了网内IP地址，且必须在一个网段中&…
Linq初级班 Linq To XML体验(基础篇)
LINQ To XML体验(基础) 这两天开始学习LINQ to XML的知识,我会继续把自己的感想和示例发布给初学者们学习的,一样欢迎高手们多多指点,请勿使用过激语言,针锋相对,我是个初学者,自知还有许多不足的地方,还请高手们多多耐心指导,好了,下面就开始我们的LINQ to XML旅程吧,在此之前…
c语言字符串机考题,2016全国计算机二级《C语言》机考试题及答案
2016全国计算机二级《C语言》机考试题及答案一、程序填空题(共18分)下列给定程序中，函数fun的功能是：求ss所指字符串数组中长度最短的字符串所在的行下标，作为函数值返回，并把其串长放在形参n所指的变量中。ss所指字符串数组中共有…
如何快速优化机器学习的模型参数
作者 | Thomas Ciha译者 | 刘旭坤编辑 | Jane出品 | AI科技大本营【导读】一般来说机器学习模型的优化没什么捷径可循。用什么架构，选择什么优化算法和参数既取决于我们对数据集的理解，也要不断地试错和修正。所以快速构建和测试模型的能力对于项目的推进…
2004-10-26+ 用户输入的安全问题
最近在看一本叫《asp.net安全性高级编程》，把一些感兴趣的东西写成笔记当到这里吧，今天这一篇主要是讲怎么防御注入攻击的。script injection 1.验证内容a.使用regularexpressionvalidator的正则表达式来限制用户输入2.筛选用户输入a.使用string.replace…
在C语言中break语句称为,在C语言中，break语句的功能是退出函数
摘要：燃烧煤中质在中过程所含矿物，语言k语高温和氧化后分解，称为，体残的固留物生成。出函只装锅炉机时称(引风。语言k语锅炉规格都以其公取的常用称压一般为选力和来作阀门上的。...燃烧煤中质在中过程所含矿物，语言k语…
C语言算法6-15
2019独角兽企业重金招聘Python工程师标准>>> 【程序6】 题目：用*号输出字母C的图案。 1.程序分析：可先用*号在纸上写出字母C，再分行输出。 2.程序源代码： #include "stdio.h" main() { printf("Hello C…
二维数组c语言矩阵加法,C 语言实例 – 两个矩阵相加 - C 语言基础教程
C 语言实例使用多维数组将两个矩阵相加。#include int main(){int r, c, a[100][100], b[100][100], sum[100][100], i, j;printf("输入行数 ( 1 ~ 100): ");scanf("%d", &r);printf("输入列数 ( 1 ~ 100): ");scanf("%d", &c…
自动生成HTML的一段程序
<%ifSaveFile("list.htm","http://192.168.1.4:920/lcy.asp") thenResponse.write "已生成"elseResponse.write "没有生成"endiffunctionSaveFile(LocalFileName,RemoteFileUrl) DimAds, Retrieval, GetRemoteData OnErrorRe…
【JAVA零基础入门系列】Day2 Java集成开发环境IDEA
【JAVA零基础入门系列】（已完结）导航目录 Day1 开发环境搭建Day2 Java集成开发环境IDEADay3 Java基本数据类型Day4 变量与常量Day5 Java中的运算符Day6 Java字符串Day7 Java输入与输出Day8 Java的控制流程Day9 Java中的那个大数值Day10 Java中的数组Day1…
只讲技术，拒绝空谈！2018 AI开发者大会精彩议程曝光
2018 年 11 月 8-9 日，由中国 IT 社区 CSDN 与硅谷 AI 社区 AICamp 联合出品的 2018 AI 开发者大会（AI NEXTCon）将于北京盛大召开。届时，近百位中美顶尖AI专家、知名企业代表以及千余名AI开发者将齐聚于此，展开全方位技…
经典的Java基础面试题集锦
问题：如果main方法被声明为private会怎样？ 答案：能正常编译，但运行的时候会提示”main方法不是public的”。 问题：Java里的传引用和传值的区别是什么？ 答案：传引用是指传递的是地址而不是值本身…
c语言组队,组队列问题。会做的高手帮帮忙啊
算法实验题4.10 组队列问题 问题描述：组队列是一个特殊的抽象数据类型，它所支持的运算类似于队列运算具有附加的组属性。因此入队运算 Enqueue(x)与通常定义的运算不eue(x)运算将元素x加入当前队列中与元素x 属于同一组的元素的尾有与x属于同一组的元素&…
算力超英伟达？华为推出两款“昇腾”芯片；五大AI战略正式公布
整理 | 非主流、费棋 出品 | AI科技大本营 华为也像是要 All in AI 了。 10 月 10 日，华为全联接大会 2018 上，华为轮值董事长徐直军带来了一系列的硬核 AI。在大会上，他系统公布了华为的 AI 发展战略，以及全栈全场景 AI 解决方案…
《SharePoint Portal Server 2003 深入指南》出版预告
《SharePoint Portal Server 2003 深入指南》在8月底、9月初应该就会上市了，如果您想得到这本书，方法包括： 1、等到书店到货之后，在书店购买。 2、网上订购。比如在Dearbook上：http://www.dearbook.com.cn/book/110838…
python内置数据结构之dict
字典是什么 key-value对的集合.可变的、无序、key不重复的序列.key只能是唯一标识,value不限定,只要是合法的value.key和value一一对应.字典的定义初始化空字典定义 dict() 和 {}例;d dict() 或 d {}字典定义初始化- 1dict(**kwargs) 使用namevalue的格式,定义字典例:…
Google发布三大新品，Pixel手机价格直逼苹果
整理 | 费棋出品 | AI科技大本营北京时间 10 月 9 日晚间，Google 在秋季发布会上推出了 Pixel 手机、平板电脑 Pixel Slate 以及智能音箱 Home Hub三大新品。最新旗舰手机 Pixel 3 和 Pixel 3 XL 如约而至，但由于产品信息在发布前就已被泄露，…