Hadoop集群的基本操作（五：Sqoop的基本操作）
实验 目的 要求 | 目的：
要求：
| |||
实 验 环 境 |
| |||
练习内容
步骤一：集群的启动
★ 该项的所有操作步骤使用专门用于集群的用户admin进行。
★ 启动HBase集群之前首先确保Zookeeper集群已被开启状态。（实验5台），Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果家目录下执行启动报错，则需要进入zookeeper/bin目录执行启动命令。
★ 启动HBase集群之前首先确保Hadoop集群已被开启状态。 （实验5台）Hadoop只需要在主节点执行启动命令。
a) 在集群中所有主机上使用命令“zkServer.sh status”查看该节点Zookeeper服务当前的状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常。如果Zookeeper未启动，则在集群中所有主机上使用命令“zkServer.sh start”启动Zookeeper服务的脚本;
b) 在主节点，查看Java进程信息，若有名为“NameNode”、“ResourceManager”的两个进程，则表示Hadoop集群的主节点启动成功。在每台数据节点，若有名为“DataNode”和“NodeManager”的两个进程，则表示Hadoop集群的数据节点启动成功, 如果不存在以上三个进程，则在主节点使用此命令,启动Hadoop集群。
主节点及备用主节点：
通信节点：
c) 确定Hadoop集群已启动状态，然后在主节点使用此命令,启动HBase集群, 在集群中所有主机上使用命令“jps”;
1、在主节点使用命令“hive”启动Hive，启动成功后能够进入Hive的控制台。
2、在控制台中使用命令“show databases;”查看当前的数据库列表。
3、在主节点使用命令“sqoop2-tool verify”验证配置是否正确；
4、使用命令“sqoop2-server start”启动Sqoop服务器，并查看java进程，若有名为“SqoopJettyServer”的进程，则表示Sqoop启动成功；
5、使用命令“sqoop2-shell”进入Sqoop的控制台；
6、MySQL集群使用root用户进行操作；
a)启动管理节点；
b)启动数据服务节点；
c)启动SQL服务节点；
练习一：MySQL->HDFS
注：*MySQL集群使用root用户进行操作；
*Hadoop、Hbase、Hive、Sqoop使用admin用户进行操作；
1、初始化Sqoop服务器连接参数；
命令：
$sqoop2-shell
>set server –host Cluster-01 –port 12000 –webapp sqoop
>show version –all
>show connector
2、建立MySQL测试表空间、表和数据；
a)创建用户sqoop并授权；
命令：
$mysql -uroot -pmysqlabc
>grant all privileges on *.* to 'sqoop'@'%' identified by 'sqoop' with grant option;
b)创建表空间（schema）sqoop，并创建测试表；
命令：
$create database sqoop；
>use sqoop;
>create table students (id int not null primary key,name varchar(20),age int);
>show tables;
>select * from students;
c)插入测试数据；
> insert into students values('10001','liyang',29);
> insert into students values('10002','lion',28);
> insert into students values('10003','leon',26);
> select * from students；
3、建立MySQL数据库连接
a) 把MySQL的数据库连接工具包“mysql-connector-java-5.1.42-bin.jar”上传到用户家目录的“setups”目录下，该目录为事先自行创建用于存放实训相关软件包的目录。
b) 将MySQL的数据库连接工具包添加到Sqoop的“extra”目录下
命令：
$ cp ~/setups/mysql-connector-java-5.1.42-bin.jar ~/sqoop/sqoop-1.99.7-bin-hadoop200/extra
c)创建数据库连接；
命令：
>sqoop2-shell
>create link -connector generic-jdbc-connector
>show link
d)建立HDFS文件系统连接；
命令：
$sqoop2-shell
>create link -connector hdfs-connector
>show link;
e)在HDFS创建用于存放导出的数据文件的目录；
命令：
#su admin
$hadoop fs -mkdir -p /user/admin/test/sqoop
f)创建数据传输事物；
命令：
$sqoop2-shell
>create job -f mysql-sqoop -t HDFS-sqoop
g)web查看
练习二：
1、在admin用户家目录/home/admin/新建一个文本文件test001.txt，内容如下：
- 1,lcuy,25,18133333333
- 2,lili,20,18044444444
- 3,yueyue,24,18955555555
2、从本地文件系统复制文件到HDFS文件系统；
命令：
$ hadoop fs -put test001.txt /user/admin/test001.txt
$ hadoop fs -ls /user/admin/
$ hadoop fs -cat /user/admin/test001.txt
3、在Mysql提前创建好表结构；
命令：
# mysql -uroot -pmysqlabc
> show databases;
> grant all privileges on *.* to 'sqoop'@'%' identified by 'sqoop' with grant option;
> CREATE DATABASE sqoop;
> use sqoop;
> create table test001(id int not null primary key,name varchar(20),age int,tel varchar(20));
> select*from test001;
4、创建job并执行导入到MySQL中；
命令：
> show job
> start job -n HDFS-mysql
> status job -n HDFS-mysql
> exit
5、在MySQL查询导入的数据；
命令：
# mysql -uroot -pmysqlabc
> show databases;
> use sqoop;
> show tables;
> select*from test001;
相关文章：
NEWS - InstallShield 2013 SP1发布
2013的这个国庆假期期间，InstallShield厂商Flexerasoftware（中文名：福莱睿）发布了最新版本InstallShield 2013的SP1，由于这个升级包带来一些新的技术支持和变化，所以特地给大家介绍一下： 1. 支持…
iOS 高德导航按返回后报错 解决
最近项目要添加导航功能，用了高德导航SDK，很郁闷每次从地图界面返回前一页面都报错，弄了很久，最终从高德开发者论坛找到一解决方法，可以试一下。 在导航的ViewController的viewWillDisappear中调用如下方法࿰…
Oracle的基本操作（一：子查询与常用函数）
1、描述TO_CHAR和TO_DATE函数的用法。 TO_CHAR（d|n[,fmt]):把日期和数字转换为指定格式(fmt)的字符串; TO_DATE(x[,fmt]):把一个字符串一fmt格式转换为一个日期类型； 举例：select to_char(sysdate,yyyy-mm-dd) "char", to_date(…
易买网的一些增删改查
正如题目所说的一样,今天就来说说易买网中的一些增删改查,主要的功能有注册、用户管理以及商品分类等！ 1.注册 1.1 注册涉及到了一个ajax远端技术,主要是用来控制注册用户在数据库中是否存在： <script>$(function(){//焦点移出表单时$("#user…
iOS后台持续定位并定时上传
最近做一个考勤APP，功能很简单，就是一直在后台运行，每隔固定时间向服务器上传一次位置信息。持续运行24小时测试，功能实现。 1.ViewController.h文件： #import <CoreLocation/CoreLocation.h>并实现CLLocationMa…
jQuery UI vs Kendo UI jQuery Mobile vs Kendo UI Mobile
jQuery UI vs Kendo UI http://jqueryuivskendoui.com/#introduction jQuery Mobile vs Kendo UI Mobile http://jqueryuivskendoui.com/#mobile-introduction Kendo UI教程 http://www.cnblogs.com/pangblog/archive/2013/09/10/3313135.html转载于:https://www.cnblogs.com/j…
Oracle的基本操作（二：存储过程）
1、编写一个存储过程，根据输入的工作类型，输入该工作的平均工资。 -- Created on 2018/9/30 by YANXUKUNcreate or replace procedure avgsal(v_job in scott.emp.job%type)isavgsal2 number;beginselect avg(sal) into avgsal2 from scott.emp where j…
web11 Struts处理表单数据
电影网站：www.aikan66.com 项目网站：www.aikan66.com 游戏网站：www.aikan66.com 图片网站：www.aikan66.com 书籍网站：www.aikan66.com 学习网站：www.aikan66.com Java网站：www.aikan66.co…
瀑布流开源这两天
想必第一眼看到 Masonery 效果的人们会和当初的我有同样的感觉，惊艳！尤其是在你双击浏览器标题栏的空白处之后，所有的区块都在默默寻找自己的位置，无论大小，就像上海虹桥火车站涌入地铁的人群。和技术实现无关…
iOS网络请求总结
*说明：文章中HTTP为宏定义的http地址，事例通过app_login.action的接口，通过传递policyNum、plateNum、phoneNum三个参数进行登录操作 一、方法1： Foundation框架 NSURLConnection （1）同步请求：同…
MongoDB数据库（一：基本操作）
1、创建名称为自己姓名拼音缩写的数据库； 2、创建名为姓名拼音缩写col的集合，如dugncol； 3、删除2中的集合，重新创建格式如dugncolnew的集合； 4、在3创建的集合中，插入10条文档数据，要求分别插入…
NYOJ--811--变态最大值
/*Name: NYOJ--811--变态最大值Author: shen_渊 Date: 17/04/17 15:49Description: 看到博客上这道题浏览量最高，原来的代码就看不下去了 o(╯□╰)o */#include<cstring> #include<iostream> #include<algorithm> using namespace std; struct…
扩展的八皇后问题
百度百科：八皇后问题是一个古老而著名的问题，是回溯算法的典型案例。该问题是国际西洋棋棋手马克斯贝瑟尔于1848年提出：在8X8格的国际象棋上摆放八个皇后，使其不能互相攻击，即任意两个皇后都不能处于同一行、同一列或同…
C++ 常用函数方法
/* * 拆分字符串 * 参数： * strData 字符串 * split 分隔符 * 返回： * 返回动态数组std::vector<std::string> ,记得要delete 内存 */ std::vector<std::string>* GetStringArray(char* strData,char* split)…
MongoDB数据库（二：高级操作）
练习一、完成使用Java代码连接MOngoDB，创建集合，获取集合，插入文档，检 索所有文档，更新文档，删除第一个文档。 a）连接MOngoDB b)创建集合 c)获取集合 d)插入文档 e)检索所有文档 f)更新文档 g)…
将XML转为HTML
文章参考：http://dreamweaver.abang.com/od/html/a/xml2html3.htm http://www.w3school.com.cn/xml/xml_xsl.asp ParseXML2HTML.xsl：代码如下 1 <?xml version"1.0" encoding"utf-8"?> 2 <xsl:styleshee…
Linux运维相关目录
Linux——相关运维配置文档目录 tcp 三次握手yum 配置你对linux了解多少，Linux 系统结构详解！Linux LAMP环境搭建Centos6.7安装Apache2.4Mysql5.6Apache2.4Linux搭建DNS服务器Nginx概念及基础安装--详细讲解深入NginxNginx的继续深入（日志轮询…
iOS8底部弹出日期选择或自定义选择器的方法
本文需要实现的日期选择器和自定义选择器效果如下： 在iOS8之前，可以通过UIActionSheet来实现，在iOS8之后，可以通过UIAlertController实现，UIAlertController的官方解释如下： A UIAlertController object d…
HDFS_API基本应用
实验 目的 要求 目的： 了解HDFS文件系统；掌握HDFS的架构及核心组件的职能；掌握HDFS数据的读写操作；HDFS常用操作（Shell。Java API）了解Hadoop2.0中HDFS相关的新特性 实 验 环 境 Java jdk 1.8&…
Docker 清理命令集锦
杀死所有正在运行的容器 复制代码代码如下:docker kill $(docker ps -a -q)删除所有已经停止的容器 复制代码代码如下:docker rm $(docker ps -a -q)删除所有未打 dangling 标签的镜像 复制代码代码如下:docker rmi $(docker images -q -f danglingtrue)删除所有镜像 复制代码代…
CentOS 6.4下编译安装MySQL 5.6.14
概述： CentOS 6.4下通过yum安装的MySQL是5.1版的，比较老，所以就想通过源代码安装高版本的5.6.14。 正文： 一：卸载旧版本 使用下面的命令检查是否安装有MySQL Server rpm -qa | grep mysql 有的话通过下面的命令来卸载掉…
iOS实现图片自动轮播展示
一、需要实现的效果如下图1，首页图片自动轮播展示，其中图片从网络异步加载，加载过程用风火轮显示加载中，如图2。 本文参考了以下博客文章： http://www.haodaima.net/art/2687144 http://www.cnblogs.com/xiaobaizhu/a…
Hadoop_MapReduce的基本应用
实验 目的 要求 目的： 了解MapReduce掌握MapReduce编程模型掌握MapReduce常见核心API编程MapReduce开发常用功能 实 验 环 境 Java jdk 1.8；apache-maven-3.6.0；Myeclipse C10；Hadoop集群；练习内容 任务一&…
Android源码编译过程之九鼎开发板
1 build_kernel()2 {3 # 进入源码顶层目录4 cd ${BS_DIR_KERNEL} || return 15 # 编译配置文件6 make ${BS_CONFIG_KERNEL} ARCHarm CROSS_COMPILE${BS_CROSS_TOOLCHAIN_KERNEL} || return 17 # 编译内核uImage（arm架构、交…
eaccelerator 完全手册：配置、控制、API接口
安装官方有很详细的文档 转自 http://www.enjoyphp.com/2010/eaccelerator-manual/ 配置选项 eaccelerator.shm_size指定 eAccelerator 能够使用的共享内存数量，单位: MB. “0″ 代表操作系统默认。默认值为 “0″。 eaccelerator.cache_dir用户磁盘缓存的目录。eAc…
iOS解决键盘阻挡输入框
解决思路：有时用户编辑输入框时，键盘会遮挡输入框，这时候只要将视图整体上移键盘的高度即可，编辑完成后再将视图下移键盘的高度恢复正常显示。 【方法1】 实现UITextField代理UITextFieldDelegat的两个方法textFieldShouldBegin…
HBASE_API的应用
实验 目的 要求 目的： 掌握HBase编程；搭建HBase编程环境；配置Myeclipse引入对应的jar包； 实 验 环 境 Java jdk 1.8；apache-maven-3.6.0；Myeclipse C10；Hadoop集群&#…
Linux进程间通信--信号
signal 一、初步理解信号 为了理解信号 ,先从我们最熟悉的场景说起: 1.用户输入命令,在Shell下启动一个前台进程。 2.用户按下Ctrl-C,这个键盘输入产生一个硬件中断。 3.如果CPU当前正在执行这个进程的代码,则该进程的用户空间代码暂停执行,CPU从用户态切换到…
如何优化cocos2d程序的内存使用和程序大小：第一部分
译者： 在我完成第一个游戏项目的时候，我深切地意识到“使用cocos2d来制作游戏的开发者们，他们大多会被cocos2d的内存问题所困扰”。而我刚开始接触cocos2d的时候，社区里面的人们讨论了一个非常有意义的话题：“请简单地…
UILayer的一些属性
iOS创建UIView是直接在Core Animation layers上进行绘制，每一个UIView实例都会自动创建CALayer的实例，并且设置为UIView实例的layer属性。 以下事例通过设置UIImageView的layer，实现阴影、圆角、边框和旋转缩放等效果 -(void)initImgView{UI…