HBASE_API的应用
实验 目的 要求 | 目的：
| ||||||||||||||||||
实 验 环 境 |
|
练习内容
任务一：编写HBaseTest.java，完成与数据库的连接、创建表、修改表、查看表结构等，并进行验证；
1、创建普通java项目，并导入需要的jar包；
2、修改Windows下的host文件；
3、连接并查看数据库中的表；
4、创建表
5、进行修改表操作
6、查看表结构；
7、编写主类main方法；
8、结果验证；
任务二：使用Put方法进行操作，并验证；
1、通过Table接口和Put类向source表插入一些数据；
2、验证；
任务三：使用Get方法进行操作，并验证；
1、按行键获取；
2、按行键列族获取；
3、按行键、列族、列修饰符获取；
4、写入scan方法；
5、写入main方法；
6、验证；
任务四：课后作业；
1、第7题，删除source表中Jason的math课程成绩；
出现的问题与解决方案
排错一：
错误：数据库访问被拒绝连接
排错思路：
- 查看网络环境是否畅通；
- 查看HBase各节点是否正常；
- 查看开发环境是否合适；
解决方案：重新启动Hadoop集群，确保每一个服务都启动正常，主节点一必须是Active状态；然后重启Myeclipse软件，重新运行程序；
排错二：
错误：主节点01，的HMaster服务经常掉线；
排错思路：
- 检查集群中各服务都是否正常；
- 检查主备两节点的状态；
- 检查HBase环境的配置文件是否正常；
解决：
1、修改各节点的hbase-site.xml文件，将里面的 时钟延迟值改为240000，原来默认值为60000；
2、Hadoop集群的各节点启动顺序为：
在数据节点03、04、05上启动Zookeeper服务；
在主节点01上启动Hadoop服务；
在主节点01与备用主节点02上分别启动HBase服务；
3、在关闭集群前依次的从开启服务顺序的倒序开始关闭各服务；
知识拓展
优化HBase
1、随机读密集型
优化方向：高效利用缓存和更好的索引
- 增加缓存使用的堆的百分比，通过参数 hfile.block.cache.size 配置。
- 减少MemStore占用的百分比，通过hbase.regionserver.global.memstore.lowerLimit和hbase.regionserver.global.memstore.upperLimit来调节。
- 使用更小的数据块，使索引的粒度更细。
- 打开布隆过滤器，以减少为查找指定行的Key Value对象而读取的HFile的数量。
- 设置激进缓存，可以提升随机读性能。
- 关闭没有被用到随机读的列族，提升缓存命中率。
2、顺序读密集型
优化方向：减少使用缓存。
- 增大数据块的大小，使每次硬盘寻道时间取出的数据更多。
- 设置较高的扫描器缓存值，以便在执行大规模顺序读时每次RPC请求扫描器可以取回更多行。 参数 hbase.client.scanner.caching 定义了在扫描器上调用next方法时取回的行的数量。
- 关闭数据块的缓存，避免翻腾缓存的次数太多。通过Scan.setCacheBlocks(false)设置。
- 关闭表的缓存，以便在每次扫描时不再翻腾缓存。
3、写密集型
优化方向：不要太频繁刷写，合并或者拆分。
- 调高底层存储文件（HStoreFile）的最大大小，region越大意味着在写的时候拆分越少。通过参数 hbase.hregion.max.filesize设置。
- 增大MemStore的大小，通过参数hbase.hregion.memstore.flush.size调节。刷写到HDFS的数据越多，生产的HFile越大，会在写的时候减少生成文件的数量，从而减少合并的次数。
- 在每台RegionServer上增加分配给MemStore的堆比例。把upperLimit设为能够容纳每个region的MemStore乘以每个RegionServer上预期region的数量。
- 垃圾回收优化，在hbase-env.sh文件里设置，可以设置初始值为：-Xmx8g -Xms8g -Xmn128m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC
-XX:CMSInitiatingOccupancyFraction=70
- 打开MemStore-Local Allocation Buffer这个特性，有助于防止堆的碎片化。 通过参数hbase.hregion.memstore.mslab.enabled设置
4、混合型
优化方向：需要反复尝试各种组合，然后运行测试，得到最佳结果。
影响性能的因素还包括：
- 压缩：可以减少集群上的IO压力
- 好的行键设计
- 在预期集群负载最小的时候手工处理大合并
- 优化RegionServer处理程序计数
相关文章：
Linux进程间通信--信号
signal 一、初步理解信号 为了理解信号 ,先从我们最熟悉的场景说起: 1.用户输入命令,在Shell下启动一个前台进程。 2.用户按下Ctrl-C,这个键盘输入产生一个硬件中断。 3.如果CPU当前正在执行这个进程的代码,则该进程的用户空间代码暂停执行,CPU从用户态切换到…
如何优化cocos2d程序的内存使用和程序大小：第一部分
译者： 在我完成第一个游戏项目的时候，我深切地意识到“使用cocos2d来制作游戏的开发者们，他们大多会被cocos2d的内存问题所困扰”。而我刚开始接触cocos2d的时候，社区里面的人们讨论了一个非常有意义的话题：“请简单地…
UILayer的一些属性
iOS创建UIView是直接在Core Animation layers上进行绘制，每一个UIView实例都会自动创建CALayer的实例，并且设置为UIView实例的layer属性。 以下事例通过设置UIImageView的layer，实现阴影、圆角、边框和旋转缩放等效果 -(void)initImgView{UI…
Hive的基本应用
实验 目的 要求 目的： 了解Hive架构，掌握Hive环境部署；了解Hive与Hadoop及传统关系型数据库的对比；掌握Hive中DDL和DML的使用；了解Hive高级应用；Hive内置函数使用及Hive自定义函数；了解Hive常…
template
//引入包<script type"text/javascript" src../template.js></script> //定义一个有ID的script标签：<script idtem type"text/html"> <h4>{{name}}</h4> <ul> {{each films as value}} <li> <str…
UICollectionView的基本使用（1）
如果是简单实用UICollectionView的话，用法和UITableView基本一致。下面是用UICollectionView实现的简单图片显示 （1）打开storyboard，将一个UICollectionView拖到View Controller Scene中，默认的UICollectionView已经包…
SQL Server的数据库连接的极限在哪儿？
在软件设计中，关于多层的设计，有一部份是有关数据库的。 设计上分成这样三层 客户端UI -- 应用服务器 -- 数据库服务器 有个说法是，可以在应用服务器这一层共享使用数据库连接池，从而减轻数据库服务器的负担。 我查了好多资料&…
Docker的使用（五：Docker中的网络与数据管理）
实验环境 三台运行有Ubuntu 16.04 操作系统的虚拟机，并每台主机中已安装docker环境； 学习目标 docker的网络管理docker Swarm集群的使用Volume数据卷的使用 实验内容 任务一：Docker网络管理 1、Docker默认网络管理 docker安装时自动创建…
Java中单元测试中：@BeforeClass，@Before，@Test，@After，@AfterClass中的问题详解
在Junit4中还有的测试注解有： BeforeClass ，Before，Test，After，AfterClass 1、其中：BeforeClass，AfterClass是Junit4中新添加进去的 2、如果Run as --->Junit Test，运行含有Test…
iOS开发流程总结
本文由社区会员umyueyue分享 以下是会员umyueue总结的iOS开发流程以及学习中的资料分享。 流程：注册、开发、真机测试、发布以及上线。 iPhone iOS 4从注册到app上线开发流程 http://blog.csdn.net/linzhiji/article/details/6732868 一、关于注册账号IDP和Apple ID…
(2)iOS用UICollectionView实现Gallery效果
本文主要实现： （1）用UICollectionView显示一组图片 （2）左右滑动来浏览所有图片 （3）图片自动对齐到网格（即滑动停止后中间的图片对齐到正中位置） （4&#…
Docker的使用（docker pull拉取镜像失败问题解决）
在docker拉取Nginx镜像过程中，速度慢，或者不成功 报错代码： Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting hea…
java,js,jstl,EL的简单交互
EL全名Expression Language.EL提供了在JSP脚本编制元素范围外使用运行时表达式的功能。 脚本编制元素是指页面中能够用于在JSP文件中嵌入java代码的元素。 JSP标准标记库（jsp staandard tag library，jstl）是一个实现web应用程序常用功能的定制…
iOS UICollectionView实现瀑布流（3）
前面两篇Blog简单的介绍了UICollection的基本使用并实现了类似Android的Gallery效果，这篇文章使用UICollection来实现瀑布流效果，代码主要是在极客学院Carol老师的视频，并在提供的demo下直接修改代码，进行屏幕适配，最终…
LevelDb系列之简介
说起LevelDb也许您不清楚，但是如果作为IT工程师，不知道下面两位大神级别的工程师，那您的领导估计会Hold不住了：Jeff Dean和Sanjay Ghemawat。这两位是Google公司重量级的工程师，为数甚少的Google Fellow之二。 Jeff De…
Spark集群启动时worker节点启不起来
在spark集群中使用命令： sbin/start-all.sh 启动集群时报错： starting org.apache.spark.deploy.master.Master, logging to /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.master.Master-1-linux.out yxklinuxs password: linux:…
XML xmlns
xmlns xml namespaces 参考 http://www.w3school.com.cn/tags/tag_prop_xmlns.asp http://www.w3school.com.cn/xml/xml_namespaces.asp <table><tr>这是一行</tr> </table><table><material>黄花梨</material> </table> 放到…
StarlingMVC简介，原理解说及示例源码
StarlingMVC简介 StarlingMVC是一个为使用Starling来开发游戏的MVC框架。这个框架的特性方面，很像Swiz和RobotLegs，原理亦像Mate。其特性列表如下： 依赖注入(DI)/控制反转(IOC)视图代理(View Mediation)事件捕获(Event Handling)非侵入性框架…
iOS调用系统相机文字改为中文
只要把这里改成China：
微服务项目的整合与测试
实验目的 掌握微服务项目的整合使用 掌握Swagger-UI的简单使用 练习内容 1、微服务项目整合 1.1、项目预览 1.1.1、在 https://github.com/shi469391tou/microservice-mallmanagement.git 地址下载，并导入Myeclipse中； 1.1.2、查看项目的结构 1.2、…
mysql单表多timestamp的current_timestamp设置问题
一个表中出现多个timestamp并设置其中一个为current_timestamp的时候经常会遇到 1293 - Incorrect table definition; there can be only one TIMESTAMP column with CURRENT_TIMESTAMP in DEFAULT or ON UPDATE clause 原因是当你给一个timestamp设置为on update current_time…
iOS 关于Blocks
*本文参考了《Objective-C高级编程 iOS与OSX多线程和内存管理》一书，关于Block的介绍摘取自此书。 Objective-c 语言中Block语法格式为： 返回值类型 参数列表 表达式 c语言中的函数语法格式为 返回值类型 函数方法名 参数列表 表达式 从上面的…
一步步写STM32 OS【二】环境搭建
一、安装IAR for ARM6.5 二、新建工程 1、选择处理器：STM32F407VG，暂不使用FPU2、必要的路径配置和宏定义3、使用SWO重定向IO输出4、使用ST-LINK仿真器5、下载配置6、设置CPU频率，防止SWO输出乱码三、代码调试 四、工程下载 stepbystep_stm32…
微服务项目的部署
练习目标 掌握Docker Compose编排工具的使用掌握微服务项目与Docker的整合方式掌握微服务项目的部署方式 项目整合参考：https://blog.csdn.net/qq_37823605/article/details/91379272 练习内容 1、Docker Compose编排工具 1.1、Docker Compose的安装与卸载 1.1…
CSS 布局:40个教程、技巧、例子和最佳实践
前言： 布局是WEB开发一个重要的课题，进入XHTML/CSS后，使用TABLE布局的方式逐渐淡出，CSS布局以众多优点成为主流，本文将介绍40个基于CSS的web布局的资源和教程。文章的出处在http://www.noupe.com/css/css-layouts-40-t…
【仿去哪儿登录】UITextField输入时检查输入框是否为空
APP登录时，一般是是等用户输入完账号和密码后才去检查是否为空，而去哪儿登录时，在账号和密码的输入过程中，只要当账号和密码其一为空时，登录按钮立即变成不可用（图1），只有账号和密码…
sql排名语句
查询全部 select dwmc,pjdf,row_number() over(order by pjdf desc) as paiming from Sab_hhb_zhb inner join jgdx on jgdx.midSab_hhb_zhb.mid查询单个select paiming from (select mid,pjdf,row_number() over(order by pjdf desc) as paiming from Sab_hhb_zhb ) Sab_hhb_z…
Sqoop的基础应用
实验目的要求 了解ET了工具Sqoop；学会安装配置Sqoop；学会使用数据迁移框架Sqoop；使用Sqoop导入MySQL到HDFS和Hive；使用Sqoop导出HDFS数据到MySQL； 实验环境 Java jdk 1.7；apache-maven-3.6.0；…
hadoop程序MapReduce之SingletonTableJoin
需求：单表关联问题。从文件中孩子和父母的关系挖掘出孙子和爷奶关系 样板：child-parent.txt xiaoming daxiong daxiong alice daxiong jack 输出：xiaoming alice xiaoming jack 分析设计： mapper部分设计： 1、<k1,…
Android网络框架Volley的快速使用
一.基本使用 之前做Android开发都是使用学长自己封装好的网络请求框架，第三方网络框架也很多，网上搜索了一下，大多数人推荐使用 android-async-httpokhttpVolley 其中Volley是Google推出了官方的针对Android平台上的网络通信库，能…