当前位置: 首页 > 编程日记 > 正文

linux下安装hadoop

关键词:Ubuntu;hadoop;

注意:开始这一步之前,需安装Oracle的jdk,参见:

http://www.cnblogs.com/fengfengqingqingyangyang/archive/2012/11/06/2756981.html

1、下载hadoop的合适版本:http://labs.mop.com/apache-mirror/hadoop/common/

我下载的是hadoop-1.1.0.tar.gz

2、在/usr下创建hadoop目录,并将gz文件复制到hadoop目录下;

命令行下解压gz文件:tar -xzf hadoop-1.1.0.tar.gz

为方便管理,修改目录名:mv hadoop-1.1.0 hadoop

3、创建名为hadoop的用户组和用户

addgroup hadoop  #用户组

adduser --ingroup hadoop hadoop

ps:创建用户时只需输入密码即可,其他回车选择默认

4、gedit打开sudoers文件,修改hadoop的权限:

gedit /etc/sudoers

ps:无法打开sudoers时,请切换至root再执行本条及以下语句。

在root ALL=(ALL)ALL语句之下添加如下一行后保存sudoers:

hadoop ALL=(ALL)ALL

PS:特别注意大小写!!!血和泪的教训告诉你linux中大小写的重要性!!!

5、创建ssh-key:

5.1、确保网络通畅,然后装载ssh服务

apt-get install openssh-server

注:如果此语句执行失败且结果为“....包被占用”的话,那么应该是ubuntu的“更新管理器”正在后台更新,关闭更新。

5.2、生成密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  #其中‘’为两个而分号!

5.3、设置免密钥登陆

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

5.3、进入.ssh目录,执行$ssh localhost

cd /home

ssh localhost

注1: ssh密钥默认保存在/home/hadoop/.ssh里面,.ssh文件是隐藏文件,需要Ctrl+h才能见到。

注2:如果执行ssh localhost后,遇到这样的错误:

hadoop@ubuntu:~$ ssh localhost

ssh: connect to host localhost port 22: Connection refused

方法是:再安装一遍SSH

apt-get install openssh-server

6、配置hadoop

6.1、进入到hadoop目录下,配置conf目录下的hadoop-env.sh中的JAVA_HOME

$ cd /usr/hadoop/hadoop  #根据你解压hadoop的位置而定

$ sudo gedit conf/hadoop-env.sh

(打开后在文档的上部某行有“#export JAVA_HOME=......”字样的地方,去掉“#”,然后在等号后面填写你的jdk路径,完全按此文档来的话应改为 " export JAVA_HOME=/usr/java/jdk1.6.0_34" )

6.2、配置conf目录下的core-site.xml

$ sudo gedit conf/core-site.xml

打开后标签<configuration> </configuration>中是空的,所以在空的地方加入如下配置:

Xml代码

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/hadoop/tmp</value>  <!--这里为安装路径,并且要事先mkdir个temp目录-->

</property>

6.3、配置conf目录下的mapred-site.xml

$ sudo gedit conf/mapred-site.xml

打开后标签<configuration> </configuration>中也是空的,添加如下配置:

Xml代码

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

7、首次进入需格式化namenode:

7.1、先进入hadoop目录

$ cd /usr/hadoop/hadoop #与解压的hadoop包路径有关

7.2、格式化namenode

$ hadoop namenode -format

PS:如果hadoop没响应,切换到root模式查看/etc/profile文件中在配置jdk路径时的"export PATH=......."中是否有hadoop的路径,如果没有加上则添加,并重新启动即可:

hadoop如果仍旧不能用的话,不妨用带路径的命令方式:~/usr/hadoop/hadoop/bin/hadoop

PS:记得用echo $?查看是否执行成功:返回0说明成功;返回其他说明仍有错误!

8、启动hadoop进程:

bin/start-all.sh 

PS:如果NameNode没有成功启动的话就要先执行"bin/stop-all.sh"停掉所有东西,然后重新格式化namenode

9、用jps查看打开的进程:

至此,单机的hadoop安装完毕!

转载于:https://www.cnblogs.com/fengfengqingqingyangyang/archive/2012/11/06/2757309.html

相关文章:

谢文睿:西瓜书 + 南瓜书 吃瓜系列 5. 决策树

Datawhale南瓜书是经典机器学习教材《机器学习》&#xff08;西瓜书&#xff09;的公式推导解析指南&#xff0c;旨在让在学习西瓜书的过程中&#xff0c;再也没有难推的公式&#xff0c;学好机器学习。 以往内容&#xff1a; 西瓜书公式推导讲解来了&#xff01;0. 导学1. 一…

2017还有29天,你的目标实现了吗?|内有彩蛋

点开标题的&#xff0c;都有一颗大心脏。2017 就要这么过去了&#xff0c;细思极恐啊同志们&#xff0c;年初定下的目标&#xff0c;你实现了几个&#xff1f; 如果这里是一个树洞&#xff0c;你将对着它说点什么呢&#xff1f; 如果你敢留下感想&#xff0c;我们就敢让它上墙。…

Python培训分享:Python内置标准异常及其解析

本期小编为大家带来的Python培训教程是关于“Python内置标准异常及其解析”的内容&#xff0c;我们都知道&#xff0c;在Python技术运作下&#xff0c;总会出现一些Python无法正常处理的程序时就会发生一个异常。异常是一个事件&#xff0c;此事件是在程序执行过程中发生&#…

shell 语法简介(转载)

一、基本语法1.1、shell文件开头shell文件必须以下面的行开始&#xff08;必须方在文件的第一行&#xff09;&#xff1a; #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。 当编辑好脚本时&#xff0c;如果要执行该…

如何利用Seaborn绘制热力图?

如何利用Seaborn绘制热力图&#xff1f; 这是本学期在大数据哲学与社会科学实验室做的第八次分享了。 第一次分享的是&#xff1a; 如何利用“wordcloudjieba”制作中文词云&#xff1f; 第二次分享的是&#xff1a; 如何爬取知乎中问题的回答以及评论的数据&#xff1f; …

如何学习大数据?

想要都进入大数据行业的第一步&#xff0c;是先搞清楚大数据究竟有哪些就业方向。 大数据就业岗位 随着大数据技术在企业界如火如荼的实践&#xff0c;企业对组建大数据团队的迫切程度也也来越高&#xff0c;对与大数据相关高端人才的需求也越来越紧迫&#xff0c;但企业对大数…

软件测试培训分享:Bug的作用有多大?

软件测试人员在工作中遇到最常见的是就是bug&#xff0c;那么bug经常出现是对是错呢?Bug的作用有多大?本期小编为大家介绍的软件测试培训教程就是关于这方面的内容的&#xff0c;来看看下面的详细介绍吧。 软件测试培训分享&#xff1a;Bug的作用有多大?主要有以下几点&…

(转)Linux进程调度时机

转自&#xff1a;http://oss.org.cn/kernel-book/ch05/5.3.2.htm 调度程序虽然特别重要&#xff0c;但它不过是一个存在于内核空间中的函数而已&#xff0c;并不神秘。Linux的调度程序是一个叫Schedule&#xff08;&#xff09;的函数&#xff0c;这个函数被调用的频率很高&…

python 字符编码问题

字符编码 一、字符编码的演进 ASCIIGB2312 GBK1.0 GB18030Unicode编码&#xff1a;国际标准字符集&#xff0c;它将世界各种语言的每个字符定义一个唯一的编码&#xff0c;以满足跨语言、跨平台的文本信息转换。Unicode&#xff08;统一码、万国码&#xff09;规定所有的…

谢文睿:西瓜书 + 南瓜书 吃瓜系列 6. 神经网络

Datawhale南瓜书是经典机器学习教材《机器学习》&#xff08;西瓜书&#xff09;的公式推导解析指南&#xff0c;旨在让在学习西瓜书的过程中&#xff0c;再也没有难推的公式&#xff0c;学好机器学习。 以往内容&#xff1a; 西瓜书公式推导讲解来了&#xff01;0. 导学1. 一…

Python培训常识:Python面试中常被问到的几种设计模式要知道

学习Python技术大家都是为了日后能够找到适合自己的工作岗位&#xff0c;那么除了要学习好Python技术外&#xff0c;对于面试环节的问题也要有所了解&#xff0c;本期小编为大家介绍的Python培训教程就算关于Python面试中常被问到的几种设计模式&#xff0c;希望能够给带来帮助…

ThinkPHP 框架学习

学习内容全部参考开发手册 建议收藏网页 https://www.kancloud.cn/manual/thinkphp/1696 一、几个概念 应用&#xff1a;基于同一个入口文件访问的项目称之为一个应用 模块&#xff1a;一个应用下面可以包含多个模块。每个模块在应用目录下面都是一个独立的子目录 控制器&…

【青少年编程】【三级】克隆猫游戏

「青少年编程竞赛交流群」已成立&#xff08;适合6至18周岁的青少年&#xff09;&#xff0c;公众号后台回复【Scratch】或【Python】&#xff0c;即可进入。如果加入了之前的社群不需要重复加入。 微信后台回复“资料下载”可获取以往学习的材料&#xff08;视频、代码、文档&…

想转行学软件测试要注意哪些问题

软件测试的快速发展&#xff0c;让很多人都红了眼&#xff0c;大家都想转行学软件测试&#xff0c;那么想转行学软件测试要注意哪些问题呢?大家是否考虑过自己是否合适呢?那么我们来看看下面的介绍吧。 想转行学软件测试要注意哪些问题?据数据显示&#xff0c;今年毕业生首选…

SpringMVC学习二

使用POJO作为参数 web.xml <?xml version"1.0" encoding"UTF-8"?> <web-app version"3.0" xmlns"http://java.sun.com/xml/ns/javaee" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio…

使用CInternetSession和CHttpFile读取网页内容

参考网址&#xff1a;http://www.398588.com/Article/T9/78.aspx读取网页的内容可以类比本地的文件一下&#xff0c;代码如下&#xff1a;#include <afxinet.h> CString url; GetDlgItemText(IDC_EDIT1,url); CInternetSession Sess; CHttpFile*cFile (CHttp…

谢文睿:西瓜书 + 南瓜书 吃瓜系列 7. 支持向量机

Datawhale南瓜书是经典机器学习教材《机器学习》&#xff08;西瓜书&#xff09;的公式推导解析指南&#xff0c;旨在让在学习西瓜书的过程中&#xff0c;再也没有难推的公式&#xff0c;学好机器学习。 以往内容&#xff1a; 西瓜书公式推导讲解来了&#xff01;0. 导学1. 一…

Python培训分享:Python发展前景怎么样?

最近学习Python技术的同学越来越多&#xff0c;大家对于Python技术比较关注的两个点&#xff0c;就是Python技术好不好学&#xff0c;Python就业前景好不好&#xff0c;那么本文针对Python发展前景怎么样这个问题为大家做下详细的介绍。 Python培训分享&#xff1a;Python发展前…

处理器拦截器(HandlerInterceptor)详解

处理器拦截器&#xff08;HandlerInterceptor&#xff09;详解 编程界的小学生 关注 2017.04.06 15:19* 字数 881 阅读 657评论 0喜欢 4简介SpringWebMVC的处理器拦截器&#xff0c;类似于Servlet开发中的过滤器Filter&#xff0c;用于处理器进行预处理和后处理。 应用场景1、日…

Datawhale组队学习周报(第018周)

文章目录本周结营的开源内容即将结营的开源内容正在进行的开源内容七月排期的开源内容希望排期的开源内容每周号外Whalepaper 招新公告本周&#xff08;06月14日~06月20日&#xff09;&#xff0c;第 25 期组队学习一共有 3 门开源课程&#xff0c;共组建了 3 个学习群&#xf…

【原创】多台电脑如何公用一个键盘鼠标进行操作 - Mouse with Borders 软件

搞程序开发的同事经常会碰到类似的情况&#xff0c;桌子有多台设备&#xff0c;笔记本&#xff0c;台式机了&#xff0c;经常需要来回切换操作&#xff0c;桌子上摆满了键盘和鼠标&#xff0c;如果要是用同一个键盘或者鼠标&#xff0c;操作这些设备那就很便利了。 给大家推荐一…

Python培训教程分享:如何实现pygame的初始化和退出操作?

本期小编为大家介绍的Python培训教程是关于“如何实现pygame的初始化和退出操作?”的内容&#xff0c;pygame模块针对不同的开发需求提供了不同的子模块&#xff0c;例如显示模块、字体模块、混音器模块等&#xff0c;一些子模块在使用之前必须进行初始化&#xff0c;比如字体…

PLSQL的 dynamic sql小例子

开始 SET serveroutput ON;DECLAREp_tab_name varchar2(20);cursor_name INTEGER;p_rows_del INTEGER; BEGINp_tab_name : EMP_CPY;cursor_name : DBMS_SQL.OPEN_CURSOR;DBMS_SQL.PARSE(cursor_name, DELETE FROM ||p_tab_name, DBMS_SQL.NATIVE);DBMS_OUTPUT.PUT_LINE(p_tab_n…

【青少年编程】陈晓光:打靶游戏

「青少年编程竞赛交流群」已成立&#xff08;适合6至18周岁的青少年&#xff09;&#xff0c;公众号后台回复【Scratch】或【Python】&#xff0c;即可进入。如果加入了之前的社群不需要重复加入。 微信后台回复“资料下载”可获取以往学习的材料&#xff08;视频、代码、文档&…

Phpcms V9手机门户设置教程:怎么用PC V9做手机网站

一、在PHPcms V9管理后台设置手机门户 1.1、开启手机网站。位置&#xff1a;模块 》手机门户 》 添加手机站点&#xff0c;具体设置可参照截图&#xff1a; 填写站点名和LOGO文件相对位置&#xff0c;绑定用于手机网站的二级域名m.cmsyou.com&#xff0c;域名以http://开头。 1…

参加软件测试培训需要学习哪些知识

软件测试在互联网行业的发展前景非常好&#xff0c;很多人都想学习软件测试&#xff0c;其中有很多都是零基础学员&#xff0c;那么参加软件测试培训需要学习哪些知识?零基础是否能学会呢?来看看下面的详细介绍吧。 参加软件测试培训需要学习哪些知识?下面给大家简单说下软件…

C#用XmlDocument操作XML

1.加载xml文件 string xmlPath AppDomain.CurrentDomain.BaseDirectory"xml/test.xml"; XmlDocument xmlDoc new XmlDocument(); xmlDoc.Load(xmlPath);//这里是xml文件的路径 string xmlString"<books><book>test</book></books>…

【第20周复盘】转换思路,让更多的小朋友们参与进来!

「青少年编程竞赛交流群」已成立&#xff08;适合6至18周岁的青少年&#xff09;&#xff0c;公众号后台回复【Scratch】或【Python】&#xff0c;即可进入。如果加入了之前的社群不需要重复加入。 微信后台回复“资料下载”可获取以往学习的材料&#xff08;视频、代码、文档&…

篇三:XPath--解析Html

篇三&#xff1a;XPath--解析Html

Python培训教程:什么是Python全局解释器锁(GIL)?

本期Python培训教程小编为大家带来的是关于“什么是Python全局解释器锁(GIL)?”的问题&#xff0c;全局解释器锁是计算机程序设计语言解释器用于同步线程的工具&#xff0c;使得在同一进程内任何时刻仅有一个线程在执行&#xff0c;常见的有CPython、Ruby MRI。 Python培训教程…