当前位置： 首页 > 编程日记 > 正文

Kylin集群部署和cube使用

编程日记 2024-10-26 05:50:00

Kylin集群部署和cube使用

  1. 安装集群环境
    节点 Kylin节点模式 Ip 内存 磁盘

Node1 All 192.167.71.11 2G 80G
Node2 query 192.168.71.12 1.5G 80G
Node3 query 192.168.71.13 1.5G 80G
Kylin工作原理如下：
screenshot

  1. 集群时间同步
    Ntp服务自行设置
  2. 安装kylin之前所需要的环境
    Hadoop-2.7.4

Hbase-1.4.0
Spark-2.2.0 可选
Zookeepr-3.3.6
Hive-2.1.1 使用mysql存放元数据，远程模式安装
Kylin-2.3.1
Hadoop环境，HBASE，zookeeper还有hive自行安装，集群环境变量如下：

HADOOP

export HADOOP_HOME=/home/zhouwang/hadoop-2.7.4
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djave.library.path=$HADOOP_HOME/lib"

ZOOKEEPER

export ZOOKEEPER_HOME=/home/zhouwang/zookeeper-3.3.6
export PATH=:$PATH:$ZOOKEEPER_HOME/bin

HIVE

export HIVE_HOME=/home/zhouwang/apache-hive-2.1.1-bin
export HIVE_CONF_HOME=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export PATH=:$PATH:$HIVE_HOME/bin:$HCAT_HOME/bin

SCALA

export SCALA_HOME=/home/zhouwang/scala-2.10.5
export PATH=:$PATH:$SCALA_HOME/bin

SPARK

export SPARK_HOME=/home/zhouwang/spark-2.2.0-bin-hadoop2.7
export PATH=:$PATH:$SPARK_HOME/bin

HBASE

export HBASE_HOME=/home/zhouwang/hbase-1.4.0
export PATH=$PATH:/home/zhouwang/hbase-1.4.0/bin

KYLIN

export KYLIN_HOME=/home/zhouwang/apache-kylin-2.3.1-bin
export KYLIN_CONF_HOME=/home/zhouwang/apache-kylin-2.3.1-bin/conf
export PATH=:$PATH:$KYLIN_HOME/bin:$CATALINE_HOME/bin
export tomcat_root=$KYLIN_HOME/tomcat
export hive_dependency=$HIVE_HOME/conf:$HIVE_HOME/lib/*:HCAT_HOME/share/hcatalog/hive-hcatalog-core-2.1.1.jar

  1. 安装kylin
    （1）第一步修改bin/kylin.sh，这么做的目的是为了加入$hive_dependency环境，解决后续的两个问题，都是没有hive依赖的原因。

第一个问题是kylinweb界面load hive表会失败，第二个问题是cube build的第二步会报org/apache/Hadoop/hive/conf/hiveConf的错误。
更改如下：
export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX

（2）第二步就是hadoop支持压缩的问题，本例的hadoop不支持snappy压缩，会导致后续cube build报错。如果要hadoop支持的话，另行找解决方案
解决这个问题对应的要修改kylin的三个配置文件
Kylin_job_conf.xml

不使用压缩

mapreduce.map.output.compress设置为false
mapreduce.output.fileoutputformat.compress 设置为false
kylin_hive_conf.xml

不使用压缩

hive.exec.compress.output 设置为false
kylin.properties
修改见下文
（3）第三步修改kylin.properties
主节点配置
kylin.metadata.url=kylin_metadata@hbase ###hbase上存储kylin元数据
kylin.env.hdfs-working-dir=/kylin ###hdfs上kylin工作目录
kylin.env=DEV
kylin.env.zookeeper-base-path=/kylin
kylin.server.mode=all ###kylin主节点模式，从节点的模式为query，只有这一点不一样
kylin.rest.servers=node1:7070,node2:7070,node3:7070 ###集群的信息同步
kylin.web.timezone=GMT+8 ####改为中国时间
kylin.job.retry=2
kylin.job.mapreduce.default.reduce.input.mb=500
kylin.job.concurrent.max.limit=10
kylin.job.yarn.app.rest.check.interval.seconds=10
kylin.job.hive.database.for.intermediatetable=kylin_flat_db ###build cube 产生的Hive中间表存放的数据库
kylin.hbase.default.compression.codec=none ###不采用压缩
kylin.job.cubing.inmem.sampling.percent=100
kylin.hbase.regin.cut=5
kylin.hbase.hfile.size.gb=2

定义kylin用于MR jobs的job.jar包和hbase的协处理jar包，用于提升性能(添加项)

kylin.job.jar=/home/zhouwang/apache-kylin-2.3.1-bin/lib/kylin-job-2.3.1.jar
kylin.coprocessor.local.jar=/home/zhouwang/apache-kylin-2.3.1-bin/lib/kylin-coprocessor-2.3.1.jar

配置完之后将kylin安装包传送搭配从节点
Scp -r apache-kylin-2.3.1-bin zhouwang@node2:~/apache-kylin-2.3.11-bin
Scp -r apache-kylin-2.3.1-bin zhouwang@node3:~/apache-kylin-2.3.11-bin

 主从节点的配置的唯一不同就是kylin.server.mode，一个集群的所有节点必须只能有一个节点处于job或者all状态，其他节点全部为query状态。
  1. 启动kylin
    第一步，启动zookeeper，所有几点运行zkServer.sh start

第二步，启动hadoop，主节点运行start-all.sh
第三步，启动JobHistoryserver服务，主节点启动mr-jobhistoryserver-deamon.sh start historyserver
第四步，启动hivemetastore服务，hive –service metastore &
第五步启动hbase集群，主节点启动start-hbase.sh
第六步，检查基础依赖的服务，hadoop，hbase，hive，环境变量，工作目录等，hive依赖检查find-hive-dependency.sh ，hbase依赖检查find-hbase-dependency.sh，所有的依赖检查可吃用chek-env.sh。
第六步，启动kylin服务，所有节点运行bin/kylin.sh start

  1. 登录
    http：//node1:7070/kylin

默认的秘钥：admin/KYLIN
screenshot

  1. 样例数据测试
    启动kylin之后运行sample.sh脚本

导入sample数据，模型，cube成功之后系统会提示重启kylin或者重新加载元数据让数据生效。我们选择重新加载。
screenshot

重新加载过后查看hive
screenshot

查看hbase中的数据多了一个kylin_metadata元数据表
screenshot

默认的有一个cube需要build
screenshot

Build成功之后
screenshot

Build成功之后model里面会出现storage信息，之前是没有的，可以到hbase里面去找对应的表，同时cube状态变为ready,表示可查询。

screenshot

8.查询性能对比（为本地自己的数据建的cube，不是sample数据）

screenshot

screenshot

可以看出明细kylin要比hive快上很多倍，kylin集群部署结束。

  1. Cube使用
    Cube使用分为五部：

第一步：新建工程 screenshot

点击加号跳出下面的界面，输入工程名，提交即可。
screenshot

第二步，添加数据源 screenshot

三个按钮功能各不相同，自行了解，点击第一个输入表名同步，点击第二个加载出hive的元数据，点击选择表，同步。

screenshot
screenshot

第三步，新建model,自行设置各个步骤
screenshot

screenshot

第四部，新建cube，自行设置cube的每一步信息

screenshot
screenshot

第五步，cube的build
screenshot

选择build，提交cube job，mapreduce计算（计算引擎自选mapreduce或者spark）。结果存在hbase。结果表在model的storage里面查看。


https://www.dkcj.cn/info/24692.html

相关文章：

就是个控制结构，Scala 能有什么新花样呢？

作者 | luanhz来源 | 小数志导读编程语言中最为基础的一个概念是控制结构，几乎任何代码都无时无刻不涉及到，其实也就无外乎3种：顺序、分支和循环。本文就来介绍Scala中控制结构，主要是分支和循环。Scala中的控制结构实质上与其他编…

编程日记2024/10/26 05:40:00

快速开发一个PHP扩展

快速开发一个PHP扩展 作者：heiyeluren时间：2008-12-5博客：http://blog.csdn.net/heiyeshuwu 本文通过非常快速的方式讲解了如何制作一个PHP 5.2 环境的扩展（PHP Extension），希望能够在图文的方式下让想快速…

编程日记2024/10/26 05:30:00

oracle11g的安装

目录层次：linux->oracle软件->dbca数据库安装过程：虚拟机->linux->VMtools->拷贝数据库软件->创建一个目录mkdir->创建组.用户->修改根目录->设置参数->解压 >安装->oracle完成参考：安装oracle软件linu…

编程日记2024/10/26 05:20:00

python 100例（10）

2019独角兽企业重金招聘Python工程师标准>>> 题目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多…

编程日记2024/10/26 05:10:00

cocos2dx-3.9 集成admob

Part 1: 安装GoogleMobileAds framework （即admob） 1. 安装Cocoapods，否则解决依赖关系和配置真的会把人不累死也得烦死 sudo gem install cocoapods 国内用户安装过程中可能遇到SSL连接出错的问题，请参考 Cocoapod安装过程中的幺…

编程日记2024/10/26 05:00:00

用C语言扩展PHP功能

用C语言扩展PHP功能建议读者群：熟悉c,linux,php PHP经过最近几年的发展已经非常的流行，而且PHP也提供了各种各样非常丰富的函数。但有时候我们还是需要来扩展PHP。比如：我们自己开发了一个数据库系统，而且有自己的库函数来操作数…

编程日记2024/10/26 04:50:00

手把手快速实现 Resnet 残差模型实战

作者 | 李秋键 出品 | AI科技大本营（ID:rgznai100） 引言：随着深度学习的发展，网络模型的深度也随之越来越深，但随着网络模型深度的加深，往往会曾在这随着模型深度的加大，模型准确率反而下降的问…

编程日记2024/10/26 04:40:00

JHipster开发环境安装

这里采用官方推荐的Yarn安装方法，默认操作系统为CentOS 7.4。 1 安装JDK 推荐版本：OpenJDK 1.8.0-64bit。 完整安装说明，请参考这里 2 安装Nodejs 推荐版本： v8.11.3 完整安装说明，请参考这里 3 安装Yarn 推荐版本&…

编程日记2024/10/26 04:30:00

用C语言写PHP扩展

用C语言写PHP扩展 1：预定义 在home目录，也可以其他任意目录，写一个文件，例如caleng_module.def 内容是你希望定义的函数名以及参数： int a(int x,int y)string b(string str,int n) 2：到php源码目录的ext目…

编程日记2024/10/26 04:20:00

Pandas 数据挖掘与分析时的常用方法

今天我们来讲一下用Pandas模块对数据集进行分析的时候，一些经常会用到的配置，通过这些配置的帮助，我们可以更加有效地来分析和挖掘出有价值的数据。数据集的准备这次我们需要用到的数据集是广为人所知的泰坦尼克号的乘客数据，我们…

编程日记2024/10/26 04:10:00

MySQL基本概念

1. 分清几个概念：数据库，数据库对象和数据； 数据库分为：系统数据库和用户数据库； 系统数据库 是安装完MySQL服务器后自带的数据库，会记录一些必要的信息，用户不能直接修改这些系统数据库。转载…

编程日记2024/10/26 04:00:00

SpringMvc+ajax实现文件跨域上传

最近开始学习SpringMVC框架，在学习数据绑定的时候，发现可以使用RequestParam注解绑定请求数据，实现了文件上传。但是如果一个项目是前后端分离的，前端系统向后端服务上传文件该怎么解决了？ 首先考虑前端用哪一种方式进…

编程日记2024/10/26 03:50:00

使用Nmap获取目标服务器开放的服务以及操作系统信息

http://nmap.org/download.html 1.下载安装rpm -vhU http://nmap.org/dist/nmap-5.61TEST5-1.i386.rpmrpm -vhU http://nmap.org/dist/zenmap-5.61TEST5-1.noarch.rpmrpm -vhU http://nmap.org/dist/ncat-5.61TEST5-1.i386.rpmrpm -vhU http://nmap.org/dist/nping-0.5.61TEST5…

编程日记2024/10/26 03:40:00

Pandas 数据类型概述与转换实战

作者 | 周萝卜 来源 | 萝卜大杂烩 在进行数据分析时，确保使用正确的数据类型是很重要的，否则我们可能会得到意想不到的结果或甚至是错误结果。对于 pandas 来说，它会在许多情况下自动推断出数据类型 尽管 pandas 已经自我推断的很好了&#x…

编程日记2024/10/26 03:30:00

7.10 数据注解特性--NotMapped

NotMapped特性可以应用到领域类的属性中，Code-First默认的约定，是为所有带有get,和set属性选择器的属性创建数据列。。 NotManpped特性打破了这个约定，你可以使用NotMapped特性到某个属性上面，然后Code-First就不会为这个属性就不…

编程日记2024/10/26 03:20:00

Condition

2019独角兽企业重金招聘Python工程师标准>>> 1、Condition的简介 线程通信中的互斥除了用synchronized、Object类的wait()和notify()/notifyAll()方式实现外，方法JDK1.5中提供的Condition配套Lock可以实现相同的功能。Condition中的await()和signal()/si…

编程日记2024/10/26 03:10:00

使用who.is查域名DNS信息以及用sameip.org查其他网站

www.who.is网站可以查域名信息，非常好用：例如查 hack-test.com然后我们可以找找同个IP上的其他站点（旁站：sameip.org）参考： 黑客是怎么攻击一个网站的？

编程日记2024/10/26 03:00:00

基于 OpenCV 的人脸追踪

作者 | 努比 来源 | 小白学视觉 在Raspberry上启动项目很简单，所以让我们开始吧。 01. 产品清单 Raspberry Pi 4 Model B — 4GB 适用于Raspberry Pi的Pan-Tilt HAT Pi Camera v2 8MP 微型SD卡 迷你HDMI电缆 Raspberry Pi摄像头电缆—尺寸：457mm x …

编程日记2024/10/26 02:50:00

-bash: /bin/rm: Argument list too long的解决办法

-bash: /bin/rm: Argument list too long的解决办法 当目录下文件太多时，用rm删除文件会报错： -bash: /bin/rm: Argument list too long 提示文件数目太多。 解决的办法是使用如下命令： ls | xargs -n 10 rm -fr ls 输出所有的文件名(用…

编程日记2024/10/26 02:40:00

React使用ES6语法重构组件代码

首次使用react&#xff0c;要注意react不同版本库&#xff0c;是ES5还是ES6的写法&#xff0c;如何做到统一。下面对于ES6语法重构组件的代码如下&#xff1a;&#xff08;1&#xff09;原始代码&#xff1a; <script type"text/babel">var destinationdocumen…

编程日记2024/10/26 02:30:00

PHP哈希表碰撞攻击原理

哈希表碰撞攻击&#xff08;Hashtable collisions as DOS attack&#xff09;的话题不断被提起&#xff0c;各种语言纷纷中招。本文结合PHP内核源码&#xff0c;聊一聊这种攻击的原理及实现。 哈希表碰撞攻击的基本原理 哈希表是一种查找效率极高的数据结构&#xff0c;很多语言…

编程日记2024/10/26 02:20:00

Java8(jdk1.8)中文档注释处理工具javadoc的环境参量配置及使用方法

Java8(jdk1.8)中文档注释处理工具javadoc的环境参量配置及使用方法Java语言提供了一种功能强大的注释形式&#xff1a;文档注释。如果编写Java源代码时添加了合适的文档注释&#xff0c;然后通过JDK提供的javadoc工具可以直接将源代码里的文档注释提取成一份系统的API文档。jav…

编程日记2024/10/26 02:10:00

如何读取Excel表格中不同sheet表的同一位置单元格数据，并绘制条形图呢？

作者 | 黄伟呢来源 | 数据分析与统计学之美今天&#xff0c;有位朋友在群里面咨询了一个问题&#xff1a;如何读取Excel表格中"不同sheet表"的同一位置单元格数据&#xff0c;并绘制条形图呢&#xff1f;有人提议用vba&#xff0c;但是不得不说&#xff0c;没有学过v…

编程日记2024/10/26 02:00:00

vue-router学习笔记

配置路由模式 const routernew VueRouter({routes }) hash模式(默认):通过url的hash来模拟一个完整的url&#xff0c;于是当url改变时&#xff0c;页面不会重新加载。history模式&#xff1a;通过history完成url跳转而不需要重新加载页面。注意&#xff1a;为了防止404错误&…

编程日记2024/10/26 01:50:00

PHP防止注入攻击

注入攻击不多说了PHP addslashes() 函数--单撇号加斜线转义PHP String 函数定义和用法addslashes() 函数在指定的预定义字符前添加反斜杠。这些预定义字符是&#xff1a;单引号 ()双引号 (")反斜杠 (\)NULL语法addslashes(string)参数描述string必需。规定要检查的字符串。…

编程日记2024/10/26 01:40:00

首届腾讯数字安全创新大赛在京启动，挖掘新锐力量推动产业创新

3月10日&#xff0c;首届腾讯数字安全创新大赛在京正式启动。本次大赛由腾讯安全和中国产业互联网发展联盟联合主办&#xff0c;腾讯安全、KEEN、元起资本、赛博英杰、数世咨询等多家企业联合发起&#xff0c;中国产业互联网发展联盟安全专委会承办。 大赛旨在寻找网络安全新力…

编程日记2024/10/26 01:30:00

oracle数据库无监听程序

在电脑---服务---启动oracle tns 如果还是出现错误的话&#xff0c;找到Net Manager&#xff0c;将网络的ip监听删除&#xff0c;将本机的主机名配好&#xff0c;即可打开tns服务 转载于:https://www.cnblogs.com/jiangsheng3/p/5025201.html

编程日记2024/10/26 01:20:00

个人开发者即时到账收款方案 BufPay.com

BufPay 个人即时到账支付平台前言 作为独立开发者&#xff0c;一般只有一个人独立奋战&#xff0c;做出了产品需要收款是非常麻烦的&#xff0c;接入支付宝微信支付都需要公司公户&#xff0c;而注册公司、开公户等一系列操作非常麻烦&#xff0c;成本也很高一年也要 1w 左右。…

编程日记2024/10/26 01:10:00

用 Python 制作数据大屏，超简单

作者 | 俊欣来源 | 关于数据分析与可视化今天我们用Streamlit模块来制作一个数据面板&#xff0c;将数据更加直观地呈现给别人观看&#xff0c;整个页面大致如下图所示&#xff1a;制作工具栏在页面的左侧是一个工具栏&#xff0c;工具栏中有多个按钮&#xff0c;分别是“About…

编程日记2024/10/26 01:00:00

Oracle 12C -- 清空audit记录

1.使用job清空 SQL> dbms_audit_mgmt.create_purge_job(audit_trail_type> DBMS_AUDIT_MGMT.AUDIT_TRAIL_UNIFIED,audit_trail_purge_interval>12&#xff0c;audit_trail_purge_name>audit_trail_pj,use_last_arch_timestamp>TRUE,container>dbms_audit_mgm…

编程日记2024/10/26 00:50:00