当前位置: 首页 > 编程日记 > 正文

hadoop HDFS常用文件操作命令

命令基本格式:

hadoop fs -cmd < args >

1.ls

hadoop fs -ls  /

列出hdfs文件系统根目录下的目录和文件

hadoop fs -ls -R /

列出hdfs文件系统所有的目录和文件


2.put

hadoop fs -put < local file > < hdfs file >

hdfs file的父目录一定要存在,否则命令不会执行

hadoop fs -put  < local file or dir >...< hdfs dir >

hdfs dir 一定要存在,否则命令不会执行

hadoop fs -put - < hdsf  file>

从键盘读取输入到hdfs file中,按Ctrl+D结束输入,hdfs file不能存在,否则命令不会执行

2.1.moveFromLocal

hadoop fs -moveFromLocal  < local src > ... < hdfs dst >

与put相类似,命令执行后源文件 local src 被删除,也可以从从键盘读取输入到hdfs file中

2.2.copyFromLocal

hadoop fs -copyFromLocal  < local src > ... < hdfs dst >

与put相类似,也可以从从键盘读取输入到hdfs file中


3.get

hadoop fs -get < hdfs file > < local file or dir>

local file不能和 hdfs file名字不能相同,否则会提示文件已存在,没有重名的文件会复制到本地

hadoop fs -get < hdfs file or dir > ... < local  dir >

拷贝多个文件或目录到本地时,本地要为文件夹路径
注意:如果用户不是root, local 路径要为用户文件夹下的路径,否则会出现权限问题,

3.1.moveToLocal

当前版本中还未实现此命令

3.2.copyToLocal

hadoop fs -copyToLocal < local src > ... < hdfs dst >

与get相类似


4.rm

hadoop fs -rm < hdfs file > ...
hadoop fs -rm -r < hdfs dir>...

每次可以删除多个文件或目录


5.mkdir

hadoop fs -mkdir < hdfs path>

只能一级一级的建目录,父目录不存在的话使用这个命令会报错

hadoop fs -mkdir -p < hdfs path> 

所创建的目录如果父目录不存在就创建该父目录


6.getmerge

hadoop fs -getmerge < hdfs dir >  < local file >

将hdfs指定目录下所有文件排序后合并到local指定的文件中,文件不存在时会自动创建,文件存在时会覆盖里面的内容

hadoop fs -getmerge -nl  < hdfs dir >  < local file >

加上nl后,合并到local file中的hdfs文件之间会空出一行


7.cp

hadoop fs -cp  < hdfs file >  < hdfs file >

目标文件不能存在,否则命令不能执行,相当于给文件重命名并保存,源文件还存在
hadoop fs -cp < hdfs file or dir >... < hdfs dir >

目标文件夹要存在,否则命令不能执行


8.mv

hadoop fs -mv < hdfs file >  < hdfs file >

目标文件不能存在,否则命令不能执行,相当于给文件重命名并保存,源文件不存在

hadoop fs -mv  < hdfs file or dir >...  < hdfs dir >

源路径有多个时,目标路径必须为目录,且必须存在。
注意:跨文件系统的移动(local到hdfs或者反过来)都是不允许的


9.count

hadoop fs -count < hdfs path >

统计hdfs对应路径下的目录个数,文件个数,文件总计大小
显示为目录个数,文件个数,文件总计大小,输入路径


10.du

hadoop fs -du < hdsf path> 

显示hdfs对应路径下每个文件夹和文件的大小

hadoop fs -du -s < hdsf path> 

显示hdfs对应路径下所有文件和的大小

hadoop fs -du - h < hdsf path> 

显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示,例如用64M代替67108864


11.text

hadoop fs -text < hdsf file>

将文本文件或某些格式的非文本文件通过文本格式输出


12.setrep

hadoop fs -setrep -R 3 < hdfs path >

改变一个文件在hdfs中的副本个数,上述命令中数字3为所设置的副本个数,-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作


13.stat

hdoop fs -stat [format] < hdfs path >

返回对应路径的状态信息
[format]可选参数有:%b(文件大小),%o(Block大小),%n(文件名),%r(副本个数),%y(最后一次修改日期和时间)
可以这样书写hadoop fs -stat %b%o%n < hdfs path >,不过不建议,这样每个字符输出的结果不是太容易分清楚


14.tail

hadoop fs -tail < hdfs file >

在标准输出中显示文件末尾的1KB数据


15.archive

hadoop archive -archiveName name.har -p < hdfs parent dir > < src >* < hdfs dst >

命令中参数name:压缩文件名,自己任意取;< hdfs parent dir > :压缩文件所在的父目录;< src >:要压缩的文件名;< hdfs dst >:压缩文件存放路径
*示例:hadoop archive -archiveName hadoop.har -p /user 1.txt 2.txt /des

示例中将hdfs中/user目录下的文件1.txt,2.txt压缩成一个名叫hadoop.har的文件存放在hdfs中/des目录下,如果1.txt,2.txt不写就是将/user目录下所有的目录和文件压缩成一个名叫hadoop.har的文件存放在hdfs中/des目录下
显示har的内容可以用如下命令:

hadoop fs -ls /des/hadoop.jar

显示har压缩的是那些文件可以用如下命令

hadoop fs -ls -R har:///des/hadoop.har

注意:har文件不能进行二次压缩。如果想给.har加文件,只能找到原来的文件,重新创建一个。har文件中原来文件的数据并没有变化,har文件真正的作用是减少NameNode和DataNode过多的空间浪费。


16.balancer

hdfs balancer

如果管理员发现某些DataNode保存数据过多,某些DataNode保存数据相对较少,可以使用上述命令手动启动内部的均衡过程


17.dfsadmin

hdfs dfsadmin -help

管理员可以通过dfsadmin管理HDFS,用法可以通过上述命令查看
hdfs dfsadmin -report

显示文件系统的基本数据

hdfs dfsadmin -safemode < enter | leave | get | wait >

enter:进入安全模式;leave:离开安全模式;get:获知是否开启安全模式;
wait:等待离开安全模式


18.distcp

用来在两个HDFS之间拷贝数据

相关文章:

php缓存技术总结

全页面静态化缓存也就是将页面全部生成html静态页面&#xff0c;用户访问时直接访问的静态页面&#xff0c;而不会去走php服务器解析的流程。此种方式&#xff0c;在CMS系统中比较常见&#xff0c;比如dedecms&#xff1b;一种比较常用的实现方式是用输出缓存&#xff1a;Ob_st…

两个使用 Pandas 读取异常数据结构 Excel 的方法,拿走不谢!

作者 | 周萝卜来源 | 萝卜大杂烩通常情况下&#xff0c;我们使用 Pandas 来读取 Excel 数据&#xff0c;可以很方便的把数据转化为 DataFrame 类型。但是现实情况往往很骨干&#xff0c;当我们遇到结构不是特别良好的 Excel 的时候&#xff0c;常规的 Pandas 读取操作就不怎么好…

ArcEngine中的缩放地图

在ArcEngine地图操作中&#xff0c;缩放地图的功能经常用到&#xff0c;这里做一个小结。 缩放地图一般可分为以下几种情况&#xff1a; 1.缩放地图&#xff1a;与放大地图相对&#xff0c;一般是手动绘制区域或固定比例缩放&#xff0c;可调用命令或Expand函数来&#xff1b; …

【小记】批处理FOR循环中的参数/D

2019独角兽企业重金招聘Python工程师标准>>> 官方说明 FOR /D %variable IN (set) DO command [command-parameters] 如果集中包含通配符&#xff0c;则指定与目录名匹配&#xff0c;而不与文件名匹配。 栗子 REM Eg1.bat REM 与此批处理同级的目录名称全部打印出来…

php 的opcode缓存apc以及其安装

先说说php程序的执行流程吧&#xff0c;说明了这个&#xff0c;才好开始我们的优化之旅。 客户端&#xff08;譬如浏览器&#xff09; —》请求Get hello.php —-》cgi服务器接&#xff08;譬如apache&#xff09;收到请求&#xff0c;根据配置寻找php的处理程序&#xff08;…

1024 程序员节专题论坛来袭,权威解读 MindSpore、CANN 5.0 特性和 HCIA MDC 开发者认证...

“授人以鱼不如授人以渔”&#xff0c;一句古话中蕴含的发展真理&#xff0c;我们将其套用到如今炽手可热的 AI 领域之上会发现无比适用。2018 年&#xff0c;华为提出了普惠 AI 的概念&#xff0c;降低 AI 开发门槛&#xff0c;让 AI 开发者获取能力&#xff0c;让技术走近每一…

leetcode之Reorder List

Given a singly linked list L: L0→L1→…→Ln-1→Ln,reorder it to: L0→Ln→L1→Ln-1→L2→Ln-2→… You must do this in-place without altering the nodes values. For example,Given {1,2,3,4}, reorder it to {1,4,2,3}. 这道题分三步&#xff1a; 1&#xff1a;首先将…

shiro多realm验证之——shiro实现不同身份使用不同Realm进行验证(转)

转自: http://blog.csdn.net/xiangwanpeng/article/details/54802509 (使用特定的realm实现特定的验证) 假设现在有这样一种需求&#xff1a;存在两张表user和admin&#xff0c;分别记录普通用户和管理员的信息。并且现在要实现普通用户和管理员的分开登…

前端开发中的性能那点事

前端开发中的性能那点事&#xff08;一&#xff09;巧用xdebug 前言&#xff1a; 在我们平时的php开发中&#xff0c;一个大的项目经过长时间的积累以后你会发现性能越来越慢&#xff0c;而性能到底消耗在了什么地方&#xff0c;常常是一个令人头疼的问题&#xff0c;function…

运动目标检测ViBe算法

一、运动目标检测简介 视频中的运动目标检测这一块现在的方法实在是太多了。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。先简单从视频中的背景类型来讨论。 静态背景下的目标检测&#xff0c;就是从序列图像中…

急缺开源人才怎么办?来看看大厂和高校怎么解决

开源&#xff0c;是数字中国建设的热点领域之一&#xff0c;也是数字经济时代的基础。在我国加速实现数字化转型的背景下&#xff0c;开源已经从个人行为、企业行为发展到了国家新基建的战略层面。它打破传统的组织架构与商业教条&#xff0c;彻底颠覆了工业经济时代的运转逻辑…

经验分享 | Burpsuite抓取非HTTP流量

使用Burp对安卓应用进行渗透测试的过程中&#xff0c;有时候会遇到某些流量无法拦截的情况&#xff0c;这些流量可能不是HTTP协议的&#xff0c;或者是“比较特殊”的HTTP协议(以下统称非HTTP流量)。遇到这种情况&#xff0c;大多数人会选择切换到Wireshark等抓包工具来分析。下…

Xdebug 配置

第一部分&#xff1a; 安装预编译模块安装预编译模块是很容易的。只需要将它们放到一个目录中&#xff0c;并将下面的内容添加到php.ini中&#xff1a;&#xff08;不要忘记更改路径和文件名为你自己的值&#xff0c;并确信你使用的是完整路&#xff09;zend_extension_ts &qu…

yield学习续:yield return迭代块在Unity3D中的应用——协程

必读好文推荐&#xff1a; Unity协程&#xff08;Coroutine&#xff09;原理深入剖析 Unity协程&#xff08;Coroutine&#xff09;原理深入剖析再续 上面的文章说得太透彻&#xff0c;所以这里就记一下自己的学习笔记了。 首先要说明的是&#xff0c;协程并不是线程&#xff0…

从神经元谈到深度神经网络

作者 | 泳鱼来源 | 算法进阶本文将从神经元到逻辑回归模型结构&#xff0c;并将其扩展到深度深度网络模型。一、谈谈智慧对于人类智慧奥秘的探索&#xff0c;不同时代、学科背景的人对于智慧的理解及其实现方法有着不同的思想主张。有的主张用显式逻辑体系搭建人工智能系统&…

【阿里聚安全·安全周刊】Intel芯片级安全漏洞事件|macOS存在漏洞

关键词&#xff1a;Intel漏洞丨mac OS漏洞丨三星漏洞丨安卓安全丨CPU漏洞丨phpMyAdmin漏洞丨iOS设备|安卓恶意软件检测|Burpsuite 本周资讯top3 【Intel漏洞】芯片级安全漏洞后续&#xff1a;谷歌表示不止Intel&#xff0c;每个1995年后的处理器都可能受影响 1月3日&#xff0c…

BigPipe:高性能的“流水线技术”网页

原文地址&#xff1a;http://www.facebook.com/note.php?note_id389414033919 译文地址&#xff1a;http://isd.tencent.com/?p2419 作者&#xff1a;蒋长浩 Facebook的网站速度做为最关键的公司任务之一。在2009年&#xff0c;我们成功地实现了Facebook网站速度提升两倍 。…

超硬核全套Java视频教程(学习路线+免费视频+配套资料)

文内福利&#xff0c;扫码免费领取Hello&#xff0c;各位锋迷们&#xff0c;我是小千。很多学习Java的小伙伴都在找的全套免费java视频教程&#xff0c;这里全都有&#xff0c;资料齐全&#xff0c;拿来吧你&#xff01;零基础学Java的学习路线图是怎样的&#xff1f;&#xff…

手机触屏滑动图片切换插件swiper.js

今天给大家分享一款手机触屏滑动图片切换插件swiper.js是一款swiper手机触屏滑动图片幻灯片&#xff0c;适合各种尺寸。效果图如下&#xff1a; 在线预览 源码下载 实现的代码。 html代码&#xff1a; <div style"max-width: 640px; margin: 0 auto;"><di…

Nginx防盗链,Nginx访问控制, Nginx解析php相关配置, Nginx代理

2019独角兽企业重金招聘Python工程师标准>>> Nginx防盗链 Nginx防盗链配置需要与不记录日志和过期时间结合在一起&#xff0c;因为都用到了location。 打开配置文件&#xff0c;注释掉一部分内容&#xff08;红框上方&#xff09;&#xff0c;添加内容&#xff08;红…

web高性能开发系列随笔

在BlogJava里写了一些关于高性能WEB开发的随笔&#xff0c;因为都是跟前端技术相关(html,http,js,css等)&#xff0c;所以也贴到博客园来&#xff0c;吸收下人气。 1、 HTTP服务器. 2、性能测试工具推荐 3、 图片篇. 4、 如何加载JS&#xff0c;JS应该放在什么位置. 5、…

《Effective C++》第8章 定制new和delete-读书笔记

章节回顾&#xff1a; 《Effective C》第1章 让自己习惯C-读书笔记 《Effective C》第2章 构造/析构/赋值运算&#xff08;1&#xff09;-读书笔记 《Effective C》第2章 构造/析构/赋值运算&#xff08;2&#xff09;-读书笔记 《Effective C》第3章 资源管理&#xff08;1&am…

观点:AI 与自动化是矛盾的

作者&#xff1a;cerebralab.com译者&#xff1a;张雨佳原文标题&#xff1a;AI and automation are at odds想象一下&#xff0c;我们生活在一个完美、和谐的地方&#xff0c;所有人在某一天同意让电脑代替人类驾驶汽车&#xff0c;而不是像现在逐步推进自动驾驶。那么&#x…

kaggle之数据分析从业者用户画像分析

数据为kaggle社区发布的数据分析从业者问卷调查分析报告&#xff0c;其中涵盖了关于该行业不同维度的问题及调查结果。本文的目的为提取有用的数据&#xff0c;进行描述性展示。帮助新从业的人员更全方位地了解这个行业。 参考学习视频:http://www.tianshansoft.com/ 数据集&am…

mysql读写分离(MySQL Proxy 安装和使用)

一、必备软件&#xff1a; 1、LUA 可以去LUA的官方下载&#xff1a;www.lua.org 2、MySQL Proxy 这里有好多二进制版本。 http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/ 或者去MYSQL官方下载源代码。 3、测试过程中取消了B和C的REPLICATION。这样SQL语句…

微软副总裁、Kubernetes 头号贡献者的他,给云原生带来奇迹!

我们做了一个街头采访&#xff0c;调查路人眼中的程序员到底是怎样的&#xff1f;提到程序员&#xff0c;大家似乎都有刻板印象&#xff1a;总是格子衬衫牛仔裤双肩包打扮&#xff0c;总是埋头敲代码&#xff0c;加班是常态……谁说程序员呆板木讷&#xff0c;只会埋头敲一行行…

查询Oracle中字段名带.的数据

SDE中的TT_L线层会有SHAPE.LEN这样的字段&#xff0c;使用&#xff1a; SQL>select shape.len from tt_l; 或 SQL>select t.shape.len from tt_l t; 是查询不出来的。 需要这样查询&#xff1a; SQL>select t."SHAPE"."LEN" from tt_l t; 转载于:…

再谈session共享

之前一篇已经写过了《springboot中redis的使用和分布式session共享问题》&#xff0c;但是示例不完全&#xff0c;本文加以完善。 使用spring-session-data-redis解决session共享&#xff0c;而不需要再引入其他jar即可 集成简单&#xff0c;上手迅速。 项目结构 1.pngpom <…

使用MySQL Proxy解决MySQL主从同步延迟

MySQL的主从同步机制非常方便的解决了高并发读的应用需求&#xff0c;给Web方 面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的&#xff0c;而且由于服务器负 载、网络拥堵等方面的原因&#xff0c;Master与…

Python 操作 MongoDB 数据库!

作者 |黄伟呢来源 |数据分析与统计学之美MongoDB是一个介于关系数据库和非关系数据库之间的产品&#xff0c;是非关系数据库当中功能最丰富&#xff0c;最像关系数据库的。先来看看MySQL与MongoDB 概念区别&#xff1a;今天的重点&#xff0c;就是要为大家讲述如何使用Python操…