Apache Hudi的写时复制和读时合并
Apache Hudi
http://hudi.apache.org/
http://hudi.apache.org/docs/quick-start-guide.html
Hudi是什么
Hudi将流处理带到大数据，提供新数据，同时比传统批处理效率高一个数量级。
Hudi可以帮助你构建高效的数据湖，解决一些最复杂的底层存储管理问题，同时将数据更快地交给数据分析师，工程师和科学家。
Hudi不是什么
Hudi不是针对任何OLTP案例而设计的，在这些情况下，通常你使用的是现有的NoSQL / RDBMS数据存储。Hudi无法替代你的内存分析数据库（至少现在还没有！）。Hudi支持在几分钟内实现近乎实时的摄取，从而权衡了延迟以进行有效的批处理。
增量处理
增量处理仅是指以流处理方式编写微型批处理程序。典型的批处理作业每隔几个小时就会消费所有输入并重新计算所有输出。典型的流处理作业会连续/每隔几秒钟消费一些新的输入并重新计算新的/更改以输出。尽管以批处理方式重新计算所有输出可能会更简单，但这很浪费并且耗费昂贵的资源。Hudi具有以流方式编写相同批处理管道的能力，每隔几分钟运行一次。
虽然可将其称为流处理，但我们更愿意称其为增量处理，以区别于使用Apache Flink，Apache Apex或Apache Kafka Streams构建的纯流处理管道。
Hudi基于MVCC设计
将数据写入parquet/基本文件以及包含对基本文件所做更改的日志文件的不同版本。
存储类型和视图
Hudi存储类型定义了如何在DFS上对数据进行索引和布局以及如何在这种组织之上实现上述原语和时间轴活动（即如何写入数据）。
反过来，视图定义了基础数据如何暴露给查询（即如何读取数据）。
| 存储类型 | 支持的视图 |
|---|---|
| 写时复制 | 读优化 + 增量 |
| 读时合并 | 读优化 + 增量 + 近实时 |
两种存储类型：
写时复制（copy on write）：仅使用列式文件（parquet）存储数据。在写入/更新数据时，直接同步合并原文件，生成新版本的基文件（需要重写整个列数据文件，即使只有一个字节的新数据被提交）。此存储类型下，写入数据非常昂贵，而读取的成本没有增加，所以适合频繁读的工作负载，因为数据集的最新版本在列式文件中始终可用，以进行高效的查询。
读时合并（merge on read）：使用列式（parquet）与行式（avro）文件组合，进行数据存储。在更新记录时，更新到增量文件中（avro），然后进行异步（或同步）的compaction，创建列式文件（parquet）的新版本。此存储类型适合频繁写的工作负载，因为新记录是以appending 的模式写入增量文件中。但是在读取数据集时，需要将增量文件与旧文件进行合并，生成列式文件。
存储数据的视图（查询模式）：
读优化视图（Read Optimized view）：直接query 基文件（数据集的最新快照），也就是列式文件（如parquet）。相较于非Hudi列式数据集，有相同的列式查询性能
增量视图（Incremental View）：仅query新写入数据集的文件，也就是指定一个commit/compaction，query此之后的新数据。
实时视图（Real-time View）：query最新基文件与增量文件。此视图通过将最新的基文件（parquet）与增量文件（avro）进行动态合并，然后进行query。可以提供近实时的数据（会有几分钟的延迟）
写时复制存储
以下内容说明了将数据写入写时复制存储并在其上运行两个查询时，它是如何工作的：
读时合并存储
以下内容说明了存储的工作方式，并显示了对近实时表和读优化表的查询：
参考：
https://www.cnblogs.com/apachehudi/p/12014919.html
https://www.cnblogs.com/zackstang/p/11912994.html
相关文章：
顶尖程序员不同于常人的 5 个区别
2019独角兽企业重金招聘Python工程师标准>>> 《The Effective Engineer》的作者在写书的过程中，为了了解那些顶级程序员和普通程序员的区别，采访了很多硅谷顶级科技公司的顶尖软件工程师。他发现这些给世界带来巨大影响的的工程师们至少有以下…
【MATLAB】符号数学计算（七）：符号微积分、符号微分方程求解、符号代数方程求解
一、符号表达式的极限 limit(F,x,a)：求当时，符号表达式F的极限。limit(F,a)：符号表达式F采用默认自变量（可由函数findsym求得），该函数求F的自变量趋于a时的极限值。limit(F)：符号表达式采用默认…
Qt运行时中文乱码的解决办法
QT5的解决办法，在类之前添加： #pragma execution_character_set("utf-8")QT4解决办法： QTextCodec::setCodecForLocale(QTextCodec::codecForLocale());转载于:https://www.cnblogs.com/bjxingch/articles/9992998.html
更换yum的源为阿里云或者网易
1.备份原本的yum源： #mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2.下载阿里云的yum源： CentOS6,CentOS7,CentOS8下对应的即可 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Ce…
socket编程：多路复用I/O服务端客户端之poll
一. 关于poll对于IO复用模型，其优点无疑是免去了对一个个IO事件就绪的等待，转而代之的是同时对多个IO数据的检测，当检测等待的事件中至少有一个就绪的时候，就会返回告诉用户进程“已经有数据准备好了，快看看是哪个赶紧…
【MATLAB】符号数学计算（八）：符号分析可视化
一、funtool分析界面 在命令行窗口中输入： funtool 这里就说一下第四排： Insert：把当前激活窗的函数写入列表Cycle：依次循环显示fxlist中的函数Delete：从fxlist列表中删除激活窗的函数Reset：使计算器恢复…
java 根据实体对象生成 增删改的SQL语句 ModelToSQL
2019独角兽企业重金招聘Python工程师标准>>> java 根据实体对象生成 增删改的SQL语句 ModelToSQL 转载于:https://my.oschina.net/miaojiangmin/blog/2907010
深入浅出SpringBoot源码分析
Spring源码非常多，不要迷失在源码的汪洋大海里，抓住主要脉络，有需要再研究即可。 Bean的初始化 1.发现所有的bean ComponentScanAnnotationParser.parse()调用doScan()扫包 这里只是扫用户定义的bean，系统的自然不用扫 ClassPathBeanDefinitionScanner.doScan protected…
HBase基本知识
为什么80%的码农都做不了架构师？>>> 概述 HBase 特性： 强一致性读写: HBase 不是 "最终一致性(eventually consistent)" 数据存储. 这让它很适合高速计数聚合类任务。自动分片(Automatic sharding): HBase 表通过region分布在集群…
【编程题】猜年龄
题目标题: 猜年龄 美国数学家维纳(N.Wiener) 智力早熟，11岁就上了大学。他曾在1935~1936年应邀来中国清华大学讲学。 一次，他参加某个重要会议，年轻的脸孔引人注目。于是有人询问他的年龄，他回答说： “我年龄的立方是个…
XenServer和VMware vSphere技术比较
此次将Citrix XenServer7.1和VMware ESXi 6.5从技术角度进行比较，并从企业角度对企业关心的项进行比较。主要包含市场地位、服务器虚拟化底层稳定性、管理架构、兼容性上进行分析。 市场地位 VMware在虚拟化的地位类似于大型存储中的EMC、小型机中IBM、网络中的思科…
阿里巴巴开源的缓存框架JetCache创建缓存
官网：https://github.com/alibaba/jetcache/wiki/CacheAPI_CN ======================= 多层嵌套缓存无效的问题： https://github.com/alibaba/jetcache/issues/424 某个service的方法加缓存注解，然后引用同一个类的另一个加缓存注解service的方法，这样必须在类里面注入…
【Python】百度翻译的爬虫实现（前篇）
该程序只能实现中文到英文的翻译 import requestsimport jsonurl "http://fanyi.baidu.com/basetrans"query_str input("请输入要翻译成英文的内容：")data{ "query": query_str,"from": "zh","to"…
github每次推送都要输入用户名和密码
/****************************************************************************** github每次推送都要输入用户名和密码* 说明：* 今天开始使用github管理一些东西，但是每次提交都出现要输入用户名和密码，* 这简直让人…
ELASTIC SEARCH 性能调优
ELASTICSEARCH 性能调优建议 创建索引调优 1.在创建索引的使用使用批量的方式导入到ES。 2.使用多线程的方式导入数据库。 3.增加默认刷新时间。 默认的刷新时间是1秒钟，这样会产生太多小的SEGMENT，导致未来的合并压力，如果调整这个大小&…
Android开源中国客户端学习 (自定义View)左右滑动控件ScrollLayout
左右滑动的控件我们使用的也是非常多了,但是基本上都是使用的viewpager 等 android基础的控件,那么我们有么有考虑过查看他的源码进行定制呢?当然,如果你自我感觉非常好的话可以自己定制一个,osc的ScrollLayout就是自己定义的View 和Viewpager的区别还是不小的 代码不是很多不…
【Python】有道翻译的爬虫实现（前篇）
import requestsimport jsonurl "http://fanyi.youdao.com/translate_o?smartresultdict&smartresultrule"data {"i": "我喜欢学习", "from": "AUTO", "to": "AUTO", "smartresult":&q…
自动生成纯文本表格的工具
https://tableconvert.com/?outputtext 有时候需要写文档的时候生成这种纯文本表格，这个工具真的很方便，贴上数据就可以了。
《Java编程思想》笔记13.字符串
点击进入我的博客 字符串操作是计算机程序设计中最常见的行为 13.1 不可变String String底层是由char[]实现的，是不可变的。看起来会改变String的方法，实际上都是创建了一个新的String对象，任何指向它的引用都不可能改变它本身的值。 13.2 重…
【Python】有道翻译的爬虫实现（后篇）
前面说到，有道翻译和百度翻译不同 （百度翻译是模拟iPhone手机，可能百度翻译用Pc端也会有类似的问题，有道翻译的User—Agent是Pc端） 每一次的salt和sign都不一样，这是什么原因产生的呢？ 一、每…
Redis客户端JetCache的单机版和集群版的配置
jetcache基础应用参考这个：阿里巴巴开源的缓存框架JetCache创建缓存 1.JetCache的jedis配置 https://github.com/alibaba/jetcache/wiki/Config_CN jedis配置：apollo版 jetcache.remote.default.type = redis jetcache.remote.default.keyConvertor = fastjson jetcache.r…
5 分钟一次理解 Spring IOC ！
今天我们分析一下 spring 的 IOC，梳理一下 IOC 和 DI 的概念与原理。在网上看到开涛有篇文章写的不错，提取其中一部分精华内容并做一些解读。 1.1.IOC是什么？ Ioc—Inversion of Control，即“控制反转”，不是什么技术&…
工作两年的编程感想
2019独角兽企业重金招聘Python工程师标准>>> 工作已有两年了，两年不长也不短了，程序员的辛酸苦乐也都体验了一些，故写此博客既为留念，也为接下来的两年留下一个参考点。 首先需要声明的是，本人的工作是Java…
微服务重构心得
现在都在做微服务，看起来就是做服务拆分比较简单，但是实际上真正重构起来又遇到许许多多的问题。 微服务重构常见问题 1.领域驱动模型的困扰 比如听到很多理论比如领域驱动，那么到底需要不需要学习或者使用领域驱动呢？ 2.系统的复杂性 重构的时候发现系统之间调用非常…
【Python】百度翻译的爬虫实现（后篇）
这个程序可以实现中英文的自动识别然后进行翻译 看着程序就很好理解。 import requestsimport jsonclass Translation():翻译def __init__(self,content):self.content contentself.url "http://fanyi.baidu.com/basetrans"self.headers {"User-Agent"…
美团即时物流的分布式系统架构设计
背景 美团外卖已经发展了五年，即时物流探索也经历了3年多的时间，业务从零孵化到初具规模，在整个过程中积累了一些分布式高并发系统的建设经验。最主要的收获包括两点： 即时物流业务对故障和高延迟的容忍度极低，在业务复…
Intellij IDEA单元测试提示Test events were not received
Intellij IDEA单元测试时提示Test events were not received 也就是可以运行test方法，也提示成功，但是看不到具体的执行结果。 Intellij IDEA从2019.2.1版本开始，会将Gradle管理的项目的测试代码，默认使用Gradle来运行࿰…
Linux下task_struct详解
背景：为了管理进程，操作系统必须对每个进程所做的事情进行清楚地描述，为此，操作系统使用数据结构来代表处理不同的实体，这个数据结构就是通常所说的进程描述符或进程控制块。在linux系统中，这就是task_stru…
【Python】数据提取xpath和lxml模块（豆瓣电影排行榜的爬虫）
xpath xpath：一门从html中提取数据的语言 xpath语法 1、选择节点(标签) /html/head/meta ：能够选中html下的head下的所有的meta标签 2、// ：能够从任意节点开始选择 //li：当前页面上所有的li标签 //html/head/link &a…
qt5.6.3下使用firebird
有人把firebird比作数据库界的瑞士军刀，想学习一下其在QT5.6中的使用，于是便开始了一场自己挖坑，自己埋的旅程。 环境说明：win7 64位QT5.6 mingw4.9 32位（好像官网上也没有64位，当然mingw也是32位的&#x…