Hadoop运行模式 之 本地运行模式
Hadoop的运行模式包括：本地模式、伪分布式模式以及完全分布式模式
Hadoop官网地址：https://hadoop.apache.org/
本次使用的Hadoop的版本是2.7.2
官网文档：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html
目录
一、官方Grep案例
1、在文件夹hadoop-2.7.2下面创建一个input文件夹
2、将Hadoop的xml配置文件复制到input
4、查看输出结果
二、官方WordCount案例
1、在hadoop-2.7.2文件夹下创建一个wcinput文件夹
2、在wcinput文件夹下创建一个wc.input文件
3、编辑wc.input文件，输入如下内容
4、回到hadoop目录：/opt/module/hadoop-2.7.2
5、执行程序
6、查看结果
三、使用软件
一、官方Grep案例
1、在文件夹hadoop-2.7.2下面创建一个input文件夹
mkdir input
2、将Hadoop的xml配置文件复制到input
cp etc/hadoop/*.xml input
3、执行share目录下的mapreduce程序
直接使用hadoop命令需要配置环境变量，否则应该写 “bin/hadoop”
（善于利用Tab键）
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input/ output 'dfs[a-z.]+'
4、查看输出结果
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input/ output 'dfs[a-z.]+'output文件夹在运行前不能创建，存在的话会抛出异常
二、官方WordCount案例
1、在hadoop-2.7.2文件夹下创建一个wcinput文件夹
mkdir wcinput
2、在wcinput文件夹下创建一个wc.input文件
touch wc.input
3、编辑wc.input文件，输入如下内容
4、回到hadoop目录：/opt/module/hadoop-2.7.2
5、执行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
6、查看结果
三、使用软件
1、VMware15.5
2、centos6.4（64位）
3、java1.8.0_144（64位）
4、hadoop 2.7.2
相关文章：
一些使用Vim的小技巧
7.增加注释（一个操作应用在多行）比如需要增加#或者是//这种注释：Ctrl v 定位到开始行，然后选定需要的行，然后执行 I命令，然后输入 # 或 //，然后按 Esc键两次，即可把注释操作应用到所…
SpringBoot注解大全 转
2019年3月17日22:30:10 一、注解(annotations)列表 SpringBootApplication：包含了ComponentScan、Configuration和EnableAutoConfiguration注解。其中ComponentScan让spring Boot扫描到Configuration类并把它加入到程序上下文。 Configuration 等同于spring的XML配置…
MATLAB【九】————ICP算法实现
1.ICP推导与求解 https://zhuanlan.zhihu.com/p/35893884 2.算法实现： % 程序说明：输入data_source和data_target两个点云，找寻将data_source映射到data_targe的旋转和平移参数 clear; close all; clc; %% 参数配置 kd 1; inlier_ratio …
Centos 7环境下源码安装PostgreSQL数据库
马上就要去实习了，工作内容是搞数据仓库方面的，用的是postgresql关系型数据库，于是自己先来了解下这种数据的用法，之后说说这个数据库和MySQL的关系和区别。 1.Postgresql简介 看了下官网上的介绍，全球最高级的开源关系…
Oracle job procedure 存储过程定时任务
Oracle job procedure 存储过程定时任务 oracle job有定时执行的功能，可以在指定的时间点或每天的某个时间点自行执行任务。 一、查询系统中的job，可以查询视图 --相关视图 select * from dba_jobs; select * from all_jobs; select * from user_jobs; -…
Hadoop运行模式 之 伪分布式运行模式
什么是伪分布式模式？它与本地运行模式以及完全分布式模式有什么区别？ 伪分布式的配置信息，完全是按照完全分布式的模式去搭建的，但是它只有一台服务器，可以用于学习和测试，真正的开发中不可以使用。 目录…
【C++】【一】结构体数组
demo7:函数份文件编写 swap.h #include <iostream> using namespace std;//函数的声明 void swap(int a, int b); swap.cpp #include "swap.h"//函数的定义 void swap(int a, int b) {int temp a;a b;b temp;cout << "a " << a …
Message、Handler、Message Queue、Looper之间的关系
2019独角兽企业重金招聘Python工程师标准>>> 在单线程模型下，为了解决线程通信问题，Android设计了一个通信机制。Message Queue(消息队列)， 线程间的通信可以通过Message Queue、Handler和Looper进行信息交换。下面将对它们进行逐…
在linux中只将“桌面”修改成“Desktop”而系统仍然使用中文
在安装好centos系统以后，它的Desktop，Downloads等文件夹都是中文的，桌面，下载等，这样在使用cd命令时特别不方便 解决方法一：下载一个中文输入法，安装 解决方法二： 修改il8n文件&a…
Zabbix 3.0 从入门到精通(zabbix使用详解)
第1章 zabbix监控 1.1 为什么要监控 在需要的时刻，提前提醒我们服务器出问题了 当出问题之后，可以找到问题的根源 网站/服务器 的可用性 1.1.1 网站可用性 在软件系统的高可靠性（也称为可用性，英文描述为HA，High Avail…
MacBook如何用Parallels Desktop安装windows7/8
虽然MacBook真的很好用，不过在天朝的国情下，有很多软件还是仅支持IE和windows系统下才有。所以有必要为自己的MacBook装一个windows版本的系统，之前试过用Boot Camp来建立分区和安装win7，之后自己又用Parallels Desktop安装过win8…
在IDEA 中为Maven 配置阿里云镜像源
打开IntelliJ IDEA->Settings ->Build, Execution, Deployment -> Build Tools > Maven 注意要勾选上override 自己创建一个settings.xml文件， 内容如下 <settings xmlns"http://maven.apache.org/SETTINGS/1.0.0"xmlns:xsi"http:/…
【匹配算法】渐进一致采样 PROSAC(PROgressive SAmple Consensus)
方法简介 渐进一致采样法1 (PROSAC) 是对经典的 RANSAC2 中采样的一种优化。相比经典的 RANSAC 方法均匀地从整个集合中采样，PROSAC 方法是从不断增大的最佳对应点集合中进行采样的。所以这种方法可以节省计算量，提高运行速度。 论文：https:…
阿里巴巴开源的 Blink 实时计算框架真香
Blink 开源了有一段时间了，竟然没发现有人写相关的博客，其实我已经在我的知识星球里开始写了，今天来看看 Blink 为什么香？ 我们先看看 Blink 黑色版本： 对比下 Flink 版本你就知道黑色版本多好看了。 你上传 jar 包的时…
【地图API】收货地址详解2
上次讲解的方法是： 在地图中心点添加一个标注，每次拖动地图就获取地图中心点，再把标注的位置设置为地图中心点。可参考教程：http://www.cnblogs.com/milkmap/p/6126424.html 可能有开发者觉得，这个算法会有“延时”&am…
MATLAB【十三】————仿真函数记录以及matlab变成小结
part one：matlab 编程小结。 1.char 与string的区别，char使用的单引号 ‘’ ，string使用的是双引号“”。 2.一般标题中的输出一定要通过 num2str 处理，画图具体的图像细节参考：https://blog.csdn.net/Darlingqiang/ar…
IDEA HDFS客户端准备
在此之前：先进行在IDEA 中为Maven 配置阿里云镜像源 1、将资料包中的压缩包解压到一个没有中文的目录下 2、配置HADOOP_HOME环境变量 3、配置Path环境变量 4、创建一个Maven工程HDFSClientDemo 5、在pom.xml中添加依赖 <dependencies><dependency><g…
12 Java面向对象之多态
JavaSE 基础之十二12 Java面向对象之多态 ① 多态的概念及分类 多态的概念：对象的多种表现形式和能力多态的分类 1. 静态多态：在编译期间，程序就能决定调用哪个方法。方法的重载就表现出了静态多态。 2. 动态多态：在程序运行…
MATLAB【十四】————遍历三层文件夹操作
文件夹遍历 clear; clc; close all;%% crop the im into 256*256 num 0; %% num1 内缩3个像素 num 2 内缩6个像素 load(qualitydata1.mat) load(qualitydata2.mat)[data1_m,data1_n] size(qualitydata1); [data2_m,data2_n] size(qualitydata2);%% read image_name …
LoadRunner监控Linux
有的linux机器上安装rpc后会保存如下： test -z "/usr/local/sbin" || mkdir -p -- . "/usr/local/sbin"/bin/install -c rpc.rstatd /usr/local/sbin/rpc.rstatd make[2]: Nothing to be done for install-data-am. make[2]: Leaving directory…
scala while循环中断
Scala内置控制结构特地去掉了break和continue，是为了更好的适应函数化编程，推荐使用函数式的风格解决break和contine的功能，而不是一个关键字。 如何实现continue的效果 Scala内置控制结构特地也去掉了continue，是为了更好的适应…
05-04-查看补丁更新报告
《系统工程师实战培训》 -05-部署补丁管理服务器 -04-查看补丁更新报告 作者：学 无 止 境QQ交流群：454544014///安装报表工具（在100-Admin01上面安装如下工具，方便查看WSUS更新补丁报告!）Microsoft System CLR Types f…
ISP【三】———— raw读取、不同格式图片差异
part zero: 如何处理.raw格式数据，读取和转化 matlab读取raw图 （mark读取图片尺寸和位数均可设置，图片尺寸M,N，图片数据类型8bit,16bit改成uint16） clear; clc; close all; % % rotpath imread(D:\matlab\ncc_ive…
深度学习 - 相关名词概念
2019独角兽企业重金招聘Python工程师标准>>> Neural Network 神经网络 Weights 权重 Bias 偏移 Activation Function 激活函数, 用于调整每个神经的输出, 有如下几个常用的函数种类 ReLU Sigmoid Optimizer 优化器 Adam Input Layer, Hidden Layer, Output Layer 输…
HDFS的API操作
准备工作：IDEA > HDFS客户端准备 目录 文件上传 文件下载 文件夹删除 修改文件名称 查看文件详情 文件和文件夹的判断 完整代码 文件上传 注意conf.set("dfs.replication","2");的位置，位置不一样，设置的副本…
微信小程序-锚点定位+内容滑动控制导航选中
之前两篇文章分别介绍了锚点定位和滑动内容影响导航选中，这里我们就结合起来，实现这两个功能！ 思路不再多说，直接上干货！ WXML <view class"navigateBox"><view class"title"><ima…
MATLAB【十四】————调用深度库生成exe，批量运行三层文件夹下图片，保存结果
运行路径：D:\matlab\cmd_batch_processing 文件夹架构： clear; clc; close all;%% crop the im into 256*256oriDataPath D:\matlab\cmd_batch_processing\data\; targetPathOri D:\matlab\cmd_batch_processing\result\;report_path D:\matlab\cm…
JDK1.8学习
2019独角兽企业重金招聘Python工程师标准>>> List<OrderGoodsDetail> olist BeanMapper.mapList(list,OrderGoodsDetail.class);List<String> list2 Arrays.asList("123", "45634", "7892", "abch", "s…
HDFS的数据流
目录 HDFS写数据流程 剖析文件写入 网络拓扑-节点距离计算 机架感知（副本存储节点选择） Hadoop2.7.2 副本节点选择 HDFS读数据流程 HDFS写数据流程 剖析文件写入 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件&#x…
Js----闭包
1、闭包的概念：(我找了很多，看大家的理解) A:闭包是指可以包含自由（未绑定到特定对象）变量的代码块； 这些变量不是在这个代码块内或者任何全局上下文中定义的，而是在定义代码块的环境中定义（局部…