Hadoop简要介绍
本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档，里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的，同时又参考了网上的很多文章，对学习Hadoop中遇到的问题进行了归纳总结。
言归正传，先说一下Hadoop的来龙去脉。谈到Hadoop就不得不提到Lucene和Nutch。首先，Lucene并不是一个应用程序，而是提供了一个纯Java的高性能全文索引引擎工具包，它可以方便的嵌入到各种实际应用中实现全文搜索/索引功能。Nutch是一个应用程序，是一个以Lucene为基础实现的搜索引擎应用，Lucene为Nutch提供了文本搜索和索引的API，Nutch不光有搜索的功能，还有数据抓取的功能。在nutch0.8.0版本之前，Hadoop还属于Nutch的一部分，而从nutch0.8.0开始，将其中实现的NDFS和MapReduce剥离出来成立一个新的开源项目，这就是Hadoop，而nutch0.8.0版本较之以前的Nutch在架构上有了根本性的变化，那就是完全构建在Hadoop的基础之上了。在Hadoop中实现了Google的GFS和MapReduce算法，使Hadoop成为了一个分布式的计算平台。
其实，Hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。
Hadoop包含两个部分：
1、HDFS
即Hadoop Distributed File System (Hadoop分布式文件系统)
HDFS具有高容错性，并且可以被部署在低价的硬件设备之上。HDFS很适合那些有大数据集的应用，并且提供了对数据读写的高吞吐率。HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode，而在每一个slave上运行一个Datanode。
HDFS支持传统的层次文件组织结构，同现有的一些文件系统在操作上很类似，比如你可以创建和删除一个文件，把一个文件从一个目录移到另一个目录，重命名等等操作。Namenode管理着整个分布式文件系统，对文件系统的操作（如建立、删除文件和文件夹）都是通过Namenode来控制。
下面是HDFS的结构：
从上面的图中可以看出，Namenode，Datanode，Client之间的通信都是建立在TCP/IP的基础之上的。当Client要执行一个写入的操作的时候，命令不是马上就发送到Namenode，Client首先在本机上临时文件夹中缓存这些数据，当临时文件夹中的数据块达到了设定的Block的值（默认是64M）时，Client便会通知Namenode，Namenode便响应Client的RPC请求，将文件名插入文件系统层次中并且在Datanode中找到一块存放该数据的block，同时将该Datanode及对应的数据块信息告诉Client，Client便这些本地临时文件夹中的数据块写入指定的数据节点。
HDFS采取了副本策略，其目的是为了提高系统的可靠性，可用性。HDFS的副本放置策略是三个副本，一个放在本节点上，一个放在同一机架中的另一个节点上，还有一个副本放在另一个不同的机架中的一个节点上。当前版本的hadoop0.12.0中还没有实现，但是正在进行中，相信不久就可以出来了。
2、MapReduce的实现
MapReduce是Google 的一项重要技术，它是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。至少现阶段而言，对许多开发人员来说，并行计算还是一个比较遥远的东西。MapReduce就是一种简化并行计算的编程模型，它让那些没有多少并行计算经验的开发人员也可以开发并行应用。
MapReduce的名字源于这个模型中的两项核心操作：Map和 Reduce。也许熟悉Functional Programming（函数式编程）的人见到这两个词会倍感亲切。简单的说来，Map是把一组数据一对一的映射为另外的一组数据，其映射的规则由一个函数来指定，比如对[1, 2, 3, 4]进行乘2的映射就变成了[2, 4, 6, 8]。Reduce是对一组数据进行归约，这个归约的规则由一个函数指定，比如对[1, 2, 3, 4]进行求和的归约得到结果是10，而对它进行求积的归约结果是24。
关于MapReduce的内容，建议看看孟岩的这篇MapReduce:The Free Lunch Is Not Over!
好了，作为这个系列的第一篇就写这么多了，我也是刚开始接触Hadoop，下一篇就是讲Hadoop的部署，谈谈我在部署Hadoop时遇到的问题，也给大家一个参考，少走点弯路。
相关文章：
超 40W 奖金池等你来战！第二届“长沙银行杯”腾讯云启创新大赛火热来袭！...
HEY！你在等待一个机会提升自己的能力吗？现在机会来啦！第二届“长沙银行杯”腾讯云启创新大赛如约而至！现在，让更多人见证你的创新能力和新鲜想法第二届“长沙银行杯”腾讯云启创新大赛由长沙银行联合腾讯云、腾讯云启共…
(转)AppCan中调用系统浏览器打开网页
<!DOCTYPE html> <html> <head> <style>body{ background:#fff; font-size:30px;}</style> <meta charset"utf-8"> <script> function openUrl(url){if(uexWidgetOne.getPlatform()0){//IOS设备uexWidget.loadApp(url,,);…
Python optionParser模块的使用方法
Python 有两个内建的模块用于处理命令行参数： 一个是 getopt，《Deep in python》一书中也有提到，只能简单处理 命令行参数； 另一个是 optparse，它功能强大，而且易于使用，可以方便地生成标准的、…
squid命中率分析参数注释
默认squid配置文件里面已经加上acl all src 0.0.0.0/0.0.0.0acl manager proto cache_objecthttp_access allow all#cachemgr_passwd pass allhttp_access allow Manager all 3.0直接看这里基本的使用方法*取得squid运行状态信息： squidclient -p 80 mgr:info //注…
库克退休前的最后一战：不是苹果汽车而是……
整理 | 郑丽媛 出品 | CSDN（ID：CSDNnews） 上个月库克迎来了他担任苹果 CEO 十周年的日子，我们也为此统计了一份成绩单；而下一个十年，库克可能不会再陪苹果完整走过了：今年 4 月库克在采访中表示…
VIM技巧：显示行号
在vi的命令模式下输入":set nu"，就有行号了，取消行号输入":set nonu"。 命令只对当前文档有效，如果想使vi打开文档时默认显示行号，可以修改vi的配置文件。 # vi ~/.vimrc 在这个文件中，添加 set n…
Python 自动化运维 pycurl
1.探测web服务质量（HTTP状态码，请求延时，HTTP头信息，下载速度等） web服务质量：1.服务可用性 2.服务响应速度 2.实例 12345678910111213141516171819202122232425262728293031323334353637383940414243impor…
Squid3反向代理安装与配置
一、编译安装 下载 #wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE25.tar.gz //找到地址#tar zxvf squid-3.0.STABLE25.tar.gz //稳定版#cd squid-3.0.STABLE25 #./configure --prefix/usr/local/squid / //必须 //以下几步可选 --enable-arp-ac…
ServiceStack OrmLite 数据库查询 几个实用方法 （继承表格式化集合等）
执行SQL语句：int result db.SqlScalar<int>("SELECT OBJECT_ID(name)", new { name "SomeName" });继承表的实现 （存储于同一个表中）[Alias("Table")] public abstract class MyBaseClass {public…
Deepsort + Yolo 实现行人检测和轨迹追踪
作者 | 李秋键 出品 | AI科技大本营(ID:rgznai100) 引言 行人检测是近年来计算机视觉领域的研究热点，同时也是目标检测领域中的难点。其目的是识别和定位图像中存在的行人，在许多领域中都有广泛的应用。交通安全方面，无人驾驶汽车通过提前…
推荐15个国外使用 CSS3 制作的漂亮网站
今天分享的作品集网站有些特别，因为他们都是使用 CSS3 技术制作的。对于设计师来说，为了吸引注意力，作品集必须展示出你的能力，这有点像制作简历，要让人们看到你所擅长的，突出的部分，这是一次推…
7_2判断两个单链表是否相交，若相交，求出第一个交点
转载请注明出处：http://www.cnblogs.com/wuzetiandaren/p/4251372.html 声明：现大部分文章为寻找问题时在网上相互转载，此博是为自己做个记录记录，方便自己也方便有类似问题的朋友，本文的思想也许有所借鉴，…
对抗软件系统复杂性①：如无必要，勿增实体
作者 | 袁进辉 我们经常面临如何评价一个大型软件系统质量的问题。首要的评价指标肯定是功能，软件是否满足主要的需求(do right things)。如果有多条技术路径可以实现同样的功能，人们倾向于选择更简单的办法。奥卡姆剃刀准则“如无必要，勿增实…
修改squid的Header中的X-Cache为Powered-By-LinuxTone
今天分析别人网站的时候，注意到国内的chinacache服务商的CDN加速，把squid默认的X-Cache修改为Powered-By-ChinaCache，如下图：以前注意了但是没去研究过，今天刚好有点空挡自己就来研究看看。我的squid版本：s…
NginxApachePHP参数汇总
1、Nginx vim /etc/nginx/conf.d/www.cmdschool.org.conf 12345678910111213client_max_body_size 30m; //上传文件大小改30M upstream www.cmdschool.org { server 10.168.82.25:87; ip_hash; } server { listen 80; server_name www.cmdschool.org; location / { proxy_pass …
android Intent PendingIntent的区别
含义：intent英文意思是意图，pending表示即将发生或来临的事情。 PendingIntent这个类用于处理即将发生的事情。比如在通知Notification中用于跳转页面，但不是马上跳转。 Intent 是及时启动，intent 随所在的activity 消失而消失。…
Squid如何提高命中率
缓存命中1.缓存时间设置，顾名思义，缓存时间设置的越长那么命中率也会相对较高。缓存与更新是一对矛盾的概念，既要做到高命中又要做到快速更新这个就需要自己对自己网站内容的了解然后指定合适的缓存策略。2.缓存能缓存的内容，什么…
海量秋招面试资料等你来拿！你离大厂也许并不远
秋招在即，你还在为秋招如何准备而发愁吗？你还在为拿不到大厂offer而苦恼吗？工欲善其事，必先利其器。金秋开学季，CSDN助力你的技术学习与成长，为你免费提供海量大厂面试资料，让你的秋招不再慌乱&…
Microsoft Dynamics CRM server 2013 中业务规则，有点像C#的正则表达式
Microsoft Dynamics CRM server 2013 中业务规则，我的理解就是有点像C#的正则表达式， 如方某个字段，必须输入什么范围的数值，其它字符不能乱输入。 打开方式有二种： 1. 种像上篇文章中写的那样， 在系统视图…
cCodeforces Round #286 (Div. 2)
A题。。暴力枚举在每个位置添加字符，然后检查一下是不是回文串 1 #include <iostream>2 #include <cstdio>3 #include <cstring>4 #include <algorithm>5 #include <cmath>6 #include <vector>7 8 using namespace std;9 10 #…
Sarg安装配置使用
SARG的全称是：Squid Analysis Report GeneratorSARG作为一款Squid日志分析工具，它采用html格式，详细列出了每一位用户访问internet的站点信息，时间占用信息，排名，连接次数，访问量，访…
OpenAI 以 10 亿美元出售「灵魂」，网友热评不再「Open」
编译 | 禾木木 出品 | AI科技大本营（ID:rgznai100） OpenAI 如何以 10 亿美元的价格出售其灵魂：GPT-3 和 Codex 背后的公司并不像它声称的那样开放。 当金钱成为障碍时，最好的意图可能会被破坏。 近日，一篇“How Open…
IBM IMM默认ID 及修改默认IP 方法
默认ID： http://192.168.70.125 用户名:USERID 密码:PASSW0RD (数字0) BIOS 下更改IP方法：（另一种可进IMM 进行修改，此处不再介绍） 本文转自easy80851CTO博客，原文链接：http://blog.51cto.com/6…
squid 优化指南
很多squid 优化只限于在 squid参数和系统参数上面的调整。但是这个实在只是细枝末节的事情，只要不是太弱智的配置导致无法缓存，squid的性能不会有太大差距，也就提高10%左右，只有实际的业务针对squid 进行一些调整，squi…
Android TextView
2019独角兽企业重金招聘Python工程师标准>>> 1、TextView不用获取焦点也能实现跑马灯 public class MarqueeTextView extends TextView { Override protected void onFocusChanged(boolean focused, int direction, Rect previouslyFocusedRect) { if(focused) …
人脸识别模型的动手实践！
作者：宋志龙 来源：Datawhale人脸识别已经成为生活中越来越常见的技术，其中最关键的问题就是安全，而活体检测技术又是保证人脸识别安全性的一个重要手段，本文将向大家简单介绍活体检测，并动手完成一个活体检…
Pyqt5学习系列
最近在学习Pyqt5做界面，找到了一个非常棒的博主的学习系列 在此记录下来： http://blog.csdn.net/zhulove86/article/category/6381941
编程方式刷新Squid缓存服务器的五种方法
网站进行内容更新是常有的事情，当被缓存的资源更新时，前端Squid 缓存服务器内容也必须要相应的更新，否则用户就可能会看到过期的数据。当没有程序支持时就需要每次登录到服务器上执行刷新操作，在服务器数量小的的时候这种方式还可…
Android 实时文件夹
实时文件夹是一种用来显示由某个ContentProvider提供的数据信息的桌面组件。要创建一个实时文件夹，必须要有两个方面的支持。 1，要定义一个用来创建实时文件夹的Activity。 2，所指定数据信息URI的ContentProvider必须支持实时文件夹时文件夹查…
《新程序员002》图书正式上市! 从“新数据库时代”到“软件定义汽车”
20年前，伴随着互联网打开信息化大门，技术人成为新时代的开拓者。在时代的召唤下，CSDN于2001年推出国内首个面向IT人员的专业杂志——《程序员》，成为一代代开发者的技术启蒙。20年后的今天，人工智能、云计算、大数据等…