impala 本年格式化时间_hive,hbase,impala之间的对比
hbase在三者中更注重的是存储，它实现了类似mysql的double write机制，但是它是一种NoSQL的数据库，并且是可以支持列式存储的，算是比较大的一个内存Hash表。hbase也采用了类似mysql中的mvcc的思想通过时间戳来做版本控制。
hbase是在hdfs基础之上的，可以算是数据的一种组织方式，是一种基于hadoop的分布式数据库系统。从数据库的角度来说，与mysql处在同一个层次，都是基于文件系统之上的管理数据的一种方法。
hbase作为面向列的数据库，支持按列读取和行读取，并解决了关系型数据库的分表的一些需求，如:关系型数据库中有些表的列重复数据太多了，需要重新建表来存重复列的数据，减少表的大小。
hive和impala则更偏向于查询分析，impala需要依赖hive的元数据，它们都有自己的查询分析引擎，只是impala是纯查询分析引擎。
hive 本身并不执行任务的分析过程，而是推给了mapreduce,这点与impala大不同,hive本身提供了数据的格式化输出功能,但是hive转换的mr可能不是最高效的，调优方式有限，很多复杂的算法没有办法表达，毕竟sql的语义表达能力有限。
hive与impala在查询分析这部分,hive明显的支持程度要比impala高,提供了很多内部函数，并且支持UDAF,UDF的方式
从数据库特性角度来看，hive与hbase的对比,hive不能修改数据，只能追加的方式，hbase允许增加和删除数据,hive不支持索引，impala和hive都是没有存储引擎的，hbase算是有自己的存储引擎。
在使用层面上来看，hive在使用上更像数据库，它提供非常丰富的系统函数，各种数据的操作，hbase在这方面就不太像一般的关系型数据库，它还是一个key-val的NoSQL,这方面的操作支持很有限，impala在这方面也是比较弱。
在计算模型层面上来看，hive是通过MR来计算的，这是一个偏向挪动数据到mr的计算节点来计算的模型，而impala则更多的是移动计算需求到DN上来做，数据不用动，最后变成了本地的磁盘IO。
阅读(7879) | 评论(0) | 转发(0) |
相关文章：
简单上手的游戏引擎
物理游戏引擎 GameSalad 转载于:https://www.cnblogs.com/sgdkg/archive/2013/06/14/3135882.html
Linux内核中关于定时器Timer的应用
2019独角兽企业重金招聘Python工程师标准>>> 在Touchscreen驱动中 1 声明 Ad7877.c (\linux-2.6.30.4\drivers\input\touchscreen): struct timer_list timer; /* P: lock */ 2 初始化 在函数 static int __devinit ad7877_probe(struct spi_device *spi) 中 执行 …
类加载过程中几个重点执行顺序整理
类的加载过程： 1、 JVM会先去方法区中找有没有相应类的.class存在。如果有，就直接使用；如果没有，则把相关类的.class加载到方法区 2、 在.class加载到方法区时，会分为两部分加载：先加载非静态内容ÿ…
二叉树 2.0 -- 非递归遍历
二叉树递归遍历存在的问题 如果我们的二叉树只有左子树，而且树的高度还很深的时候，这个时候递归调用遍历的时候，栈帧空间开辟的较大，很可能造成栈溢出。但是我们一个程序中，为堆分配的空间要比栈大的多，这…
田忌赛马贪心算法_田忌赛马 贪心算法
算法实验课回顾田忌赛马问题描述：你一定听说过田忌赛马的故事吧？如果3匹马变成n匹(n<100)，齐王仍然让他的马按照优到劣的顺序初赛，田忌可以按任意顺序选择他的赛马出赛。赢一局，田忌可以得到200两银子；输…
[转][小结][三种方法]实现WPF不规则窗体
实现WPF不规则窗体的三种常用的方法如下： 1.使用Blend等工具绘制一个不规则xaml，然后作为窗体的背景。这个可以参考xiaowei0705的这篇博文：WPF制作不规则的窗体 。 2.给window的Clip属性赋Path值。这个可以参考DebugLZQ前面的博文：…
VirtualBox虚拟机网络连接设置的四种方式
这里我先给大家大致讲解下VBox的网络配置及应用。 VirtualBox的提供了四种网络接入模式，它们分别是：1、NAT 网络地址转换模式(NAT,Network Address Translation)2、Bridged Adapter 桥接模式3、Internal 内部网络模式4、Host-only Adapter 主机…
redis-deskmanager 连不上 虚拟机 - centos redis
1、没设置redis密码 ： https://blog.csdn.net/HUXU981598436/article/details/54668779 2、关闭防火墙 转载于:https://www.cnblogs.com/Jomini/p/9650650.html
数据库1.0 -- 数据库的基本操作
安装数据库 安装数据库的时候我们需要安装三个软件，使用下面的命令，可能还会出现一些问题，关于数据库的安装，大家可以上网自行百度 yum install mysql yum install mysql-server yum install mysql-devel 我个人的理解大概是这…
12,缓冲运动。匀速运动停止条件
缓冲运动：iSpeed(iTarget-oDiv.offsetLeft)/7;速度离目标点越远，速度越大，离目标点越近速度越小； 只支持1px是最小单位，没有0.5px。所以当iSpeed为小数时如（0.7），oDiv.style.LeftoDi…
如何配置mac的mysql环境_mac安装mysql数据库及配置环境变量
安装mysql下载mysql。我下载的是：mysql-8.0.11-macos10.13-x86_64.dmg双击打开mysql-8.0.11-macos10.13-x86_64.dmg，然后双击mysql-8.0.11-macos10.13-x86_64.pkg一路点击继续，傻瓜式安装，没什么好说的此处选择“Use Legacy Passw…
三层交换机vlan间访问(第一种方式)
真的是原创，但是得感谢Ys_routesim软件的制作方。我将命令调试后并进行了解释。若是属于侵权，请立即告知我。不过学习了网工后，大段解读源代码不属于侵权吧。呵呵。 交换机的三层交换实际是具有路由功能的交换机，比如思科的Cisco …
(转载)深入浅出设计模式——桥接模式（Bridge Pattern）
模式动机设想如果要绘制矩形、圆形、椭圆、正方形，我们至少需要4个形状类，但是如果绘制的图形需要具有不同的颜色，如红色、绿色、蓝色等，此时至少有如下两种设计方案： 第一种设计方案是为每一种形状都提供一套各种颜色…
数据库2.0 -- 数据类型和数据表的基本操作
mysql支持多种数据类型，一般可以分为，数值，日期时间和字符（串） 数值类型 日期和时间类型 字符串类型 创建数据表 我们首先应该明白的就是一个结构的问题，一个用户可以管理多个数据库，每个数据…
virtual hust 2013.6.20 数论基础题目 D - Just the Facts
题目：Just the Facts 思路：枚举10000素数内，各因子出现的次数，然后取模为10。因为0是由2和5构成的，所以2和5的幂单独讨论，同时由于2的幂肯定大于5的，所以我们最后要算的再乘上2的减去后的幂就可…
MySQL中字段约束有哪些_mysql字段约束
为了确保数据的完整性和唯⼀性，关系型数 据库通过约束机制来实现目。一. unique 唯一性约束值不可重复；二. not null 非空约束值不可为空；三. default 默认值约束当增加数据时没有插⼊值时，会自动插⼊默认值；四. chec…
关于软件测试中那点小事中的大道理
如果想让测试在公司的项目中发挥出它最大的价值，并不是招两个测试技术高手，或引入几个测试技术，而是测试技术对项目流 程的渗透，以及测试流程的改进与完善。虽然，当然测试行业前景乐观，许多中小企业也都在引…
每日一题 -- 11-1
一天十题选择，一天一道编程，一天一个面试题，一个一个剑指offer 排序是必须要掌握的一个算法，非常的重要 题目描述 有 n 个学生站成一排，每个学生有一个能力值，牛牛想从这 n 个学生中按照顺序选取 k 名学…
Java中? extends T和? super T的理解
? 通配符类型 - <? extends T> 表示类型的上界，表示参数化类型的可能是T 或是 T的子类; <? super T> 表示类型下界（Java Core中叫超类型限定），表示参数化类型是此类型的超类型（父类型）&…
学习Modern UI for WPF
这两天断断续续的学了学Modern UI for WPF 没啥学习笔记呵呵，来自大牛王春明的博客园 http://www.cnblogs.com/wangchunming/category/342887.html 此大牛学习范围之广 成果之丰富 着实是学习的典范转载于:https://www.cnblogs.com/DragonX/p/3146818.html
idea的tomcat配置文件在哪里修改_MyBatis配置文件详解
MyBatis 的配置文件包含了会影响 MyBatis 行为的设置和属性信息，决定了mybatis的运行轨迹，能充分了解这些配置的以及配置所带来的的影响，你就是大神！配置文件的根节点是configuration，他的子孙节点有：prope…
《几何与代数导引》例1.4——定比分点
点$r$分有向线段$\vec{pq}$成定比$k$,即$\vec{pr}k\vec{rq}(k\neq-1)$.在仿射标架中，已知$p(a_1,a_2,a_3)$,$q(b_1,b_2,b_3)$和$k$,求$r(c_1,c_2,c_3)$解:由于$c_i-a_ik(b_i-c_i)$,因此$c_i\frac{kb_ia_i}{1k}$.转载于:https://www.cnblogs.com/yeluqing/archive/20…
C#第一个程序Helloworld
转载于:https://www.cnblogs.com/gzhbk/p/9656149.html
Leanote
https://github.com/leanote/leanote/wiki/Leanote-%E4%BA%8C%E8%BF%9B%E5%88%B6%E7%89%88%E8%AF%A6%E7%BB%86%E5%AE%89%E8%A3%85%E6%95%99%E7%A8%8B—-Mac-and-Linux 安装的网址 我们相当于是在本地建立了一个服务器，然后将我们的leanote部署上去了 我们这里的启…
微软安全新闻聚焦-双周刊第三十四期
Biweekly Spotlights 2013. 6. 5– 2013. 6. 20 第 34 期 微软发布 EMET 4.0 2013年6月17日 Enhanced Mitigation Experience Toolkit(EMET) 是微软提供的一个免费的攻击防御工具，它依托 Windows 系统本身的防御机制来阻止攻击者对各类…
mysql如何实现实时存储_OpenResty + Mysql 实现日志实时存储
应用场景和日志文件解析本配置主要解决 Nginx 向 MySQL 中实时插入日志的问题，采用 OpenResty Mysql 实现。1. 刚开始的时候看了 Nginx 和 MySQL 的连接模块。比如说 nginx-mysql-module，可以连接 MySQL。但是插入日志时遇到问题，我们知道 n…
简易RS232 建模二 （接收）
//clK系统时钟为50MHZ 先发低位后发高位 先接收地位后接收高位module uart_tx (input clk,rst_n, UART_CTS, output reg UART_RTS, input UART_RXD, output reg UART_TXD, output [7:0] led);reg [3:0]state;reg [30:0] count;reg [7:0] data;assign led rx_data; reg [7:0] …
《UNIX高级环境编程》 -- apue.h
在看《UNIX高级环境编程》这本书的时候，会遇到一个问题就是这个”apue.h”,这个是作者为了编写代码方便封装了一个库，我们可以使用下面的方式解决这个问题，让我们的代码可以像作者一样去使用，这样的话，我们就可以好好研…
mysql 多少个数据库_mysql数据库的几个基本概念
1、表数据库表是一系列二维数组的集合，用来存储数据和操作数据的逻辑结构。行是记录，列是字段，每一列表示记录的一个属性，都有相应的描述信息。2、数据类型：数据类型决定了数据在计算机中的存储格式，代表不…
教孩子正确对待分数
期末考试各科成绩渐渐公布了，小丽迫不及待地跑到办公室向老师打听分数。看到自己那一科成绩好时欣喜若狂，看到差的则懊悔不已。如果你的孩子也象小丽一样视考分为命根，该如何教孩子正确对待分数?让她从考分的困惑中解放出来?●考前给孩子制…