IDEA HDFS客户端准备
在此之前：先进行在IDEA 中为Maven 配置阿里云镜像源
1、将资料包中的压缩包解压到一个没有中文的目录下
2、配置HADOOP_HOME环境变量
3、配置Path环境变量
4、创建一个Maven工程HDFSClientDemo
5、在pom.xml中添加依赖
<dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>RELEASE</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId><version>2.8.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.7.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.7.2</version></dependency><dependency><groupId>jdk.tools</groupId><artifactId>jdk.tools</artifactId><version>1.8</version><scope>system</scope><systemPath>${JAVA_HOME}/lib/tools.jar</systemPath></dependency>
</dependencies>
需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
包的结构如图：
测试代码：HDFSClient的代码为：
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;public class HDFSClient {public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {Configuration conf = new Configuration();//conf.set("fs.defaultFS","hdfs://hadoop131:9000");// 1 获取hdfs客户端对象FileSystem fs = FileSystem.get(new URI("hdfs://192.168.223.101:9000"),conf,"zzz");// 2 在hdfs上创建路径fs.mkdirs(new Path("/test/zzz"));// 3 关闭fs.close();System.out.println("over");}
}
如果在运行之后，可以正常执行命令，但是会发出警告，
可以参考博客：https://blog.csdn.net/weixin_42183401/article/details/104297407
全部修改好之后，可以正常运行，
相关文章：
12 Java面向对象之多态
JavaSE 基础之十二12 Java面向对象之多态 ① 多态的概念及分类 多态的概念：对象的多种表现形式和能力多态的分类 1. 静态多态：在编译期间，程序就能决定调用哪个方法。方法的重载就表现出了静态多态。 2. 动态多态：在程序运行…
MATLAB【十四】————遍历三层文件夹操作
文件夹遍历 clear; clc; close all;%% crop the im into 256*256 num 0; %% num1 内缩3个像素 num 2 内缩6个像素 load(qualitydata1.mat) load(qualitydata2.mat)[data1_m,data1_n] size(qualitydata1); [data2_m,data2_n] size(qualitydata2);%% read image_name …
LoadRunner监控Linux
有的linux机器上安装rpc后会保存如下： test -z "/usr/local/sbin" || mkdir -p -- . "/usr/local/sbin"/bin/install -c rpc.rstatd /usr/local/sbin/rpc.rstatd make[2]: Nothing to be done for install-data-am. make[2]: Leaving directory…
scala while循环中断
Scala内置控制结构特地去掉了break和continue，是为了更好的适应函数化编程，推荐使用函数式的风格解决break和contine的功能，而不是一个关键字。 如何实现continue的效果 Scala内置控制结构特地也去掉了continue，是为了更好的适应…
05-04-查看补丁更新报告
《系统工程师实战培训》 -05-部署补丁管理服务器 -04-查看补丁更新报告 作者：学 无 止 境QQ交流群：454544014///安装报表工具（在100-Admin01上面安装如下工具，方便查看WSUS更新补丁报告!）Microsoft System CLR Types f…
ISP【三】———— raw读取、不同格式图片差异
part zero: 如何处理.raw格式数据，读取和转化 matlab读取raw图 （mark读取图片尺寸和位数均可设置，图片尺寸M,N，图片数据类型8bit,16bit改成uint16） clear; clc; close all; % % rotpath imread(D:\matlab\ncc_ive…
深度学习 - 相关名词概念
2019独角兽企业重金招聘Python工程师标准>>> Neural Network 神经网络 Weights 权重 Bias 偏移 Activation Function 激活函数, 用于调整每个神经的输出, 有如下几个常用的函数种类 ReLU Sigmoid Optimizer 优化器 Adam Input Layer, Hidden Layer, Output Layer 输…
HDFS的API操作
准备工作：IDEA > HDFS客户端准备 目录 文件上传 文件下载 文件夹删除 修改文件名称 查看文件详情 文件和文件夹的判断 完整代码 文件上传 注意conf.set("dfs.replication","2");的位置，位置不一样，设置的副本…
微信小程序-锚点定位+内容滑动控制导航选中
之前两篇文章分别介绍了锚点定位和滑动内容影响导航选中，这里我们就结合起来，实现这两个功能！ 思路不再多说，直接上干货！ WXML <view class"navigateBox"><view class"title"><ima…
MATLAB【十四】————调用深度库生成exe，批量运行三层文件夹下图片，保存结果
运行路径：D:\matlab\cmd_batch_processing 文件夹架构： clear; clc; close all;%% crop the im into 256*256oriDataPath D:\matlab\cmd_batch_processing\data\; targetPathOri D:\matlab\cmd_batch_processing\result\;report_path D:\matlab\cm…
JDK1.8学习
2019独角兽企业重金招聘Python工程师标准>>> List<OrderGoodsDetail> olist BeanMapper.mapList(list,OrderGoodsDetail.class);List<String> list2 Arrays.asList("123", "45634", "7892", "abch", "s…
HDFS的数据流
目录 HDFS写数据流程 剖析文件写入 网络拓扑-节点距离计算 机架感知（副本存储节点选择） Hadoop2.7.2 副本节点选择 HDFS读数据流程 HDFS写数据流程 剖析文件写入 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件&#x…
Js----闭包
1、闭包的概念：(我找了很多，看大家的理解) A:闭包是指可以包含自由（未绑定到特定对象）变量的代码块； 这些变量不是在这个代码块内或者任何全局上下文中定义的，而是在定义代码块的环境中定义（局部…
【C++】【四】企业链表
// 企业链表.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。 // 链表改进版 企业常用#include <iostream> #include<stdlib.h>//链表小节点 不包含数据域 typedef struct linknode {struct linknode* next; }linknode; //链表节点 数据指…
GoldenGate的Logdump工具使用简介
Logdump工具是GoldenGate提供的一个用于查询、分析、过滤、查看和保存存储在trail文件或extract文件中的数据的工具。1、启动Logdump工具[oraclerhel6 ~]$ cd /ogg [oraclerhel6 ogg]$ ./logdumpOracle GoldenGate Log File Dump Utility for Oracle Version 12.2.0.1.1 OGGCOR…
scala惰性函数
惰性计算（尽可能延迟表达式求值）是许多函数式编程语言的特性。惰性集合在需要时提供其元素，无需预先计算它们，这带来了一些好处。首先，您可以将耗时的计算推迟到绝对需要的时候。其次，您可以创造无限个集合…
计算机组成原理-第3章-3.1
|--总线：本质上就是一组连线，通路 |--发展过程： 分散连接时代： 运算器为中心 ↓ 存储器为中心 ↓ 中断，DMA的出现修正 ↓ 依旧无法解决效率问题 总线连接时代： 以CPU为核心，双总线：M…
【C++】【三】单向链表
// 单向链表.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。 //#include <iostream> #include<stdlib.h>typedef struct LINKNODE {void* data;struct LINKNODE* next; }linknode;typedef struct LINKLIST {LINKNODE* head;int size; }lin…
gulp相关说明
1.当你按下ctrls 或切换到浏览器，浏览器将会会自动刷新 如果你修改的是html文件将会刷新网页如果你修改的是css或less，这个less文件或css文件将会被重载而不是刷新整个页面（这个特性在写单页面应用时尤为实用）2.模板引入 考虑以下…
IDEA中提示：Warning:java: 源值1.5已过时, 将在未来所有发行版中删除
问题描述： 运行Java Web项目时，IDEA中提示：Warning:java: 源值1.5已过时, 将在未来所有发行版中删除解决方法： 1. 打开【File】—【Project Structure】，找到以下两个地方： Project Structure->Proje…
mysql 数据库乱码
mysql 数据库乱码 转载自https://www.cnblogs.com/gne-hwz/p/8748028.html 如有侵权，请联系。 遇到这种情况，现有项目的数据库已经建好，数据表也已经创建完成。 问题来的，数据库不能插入中文，调试时候发现中文数据从发…
【C++】【二】动态数组-Dynamic_linklist
// dynamicArray.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。 // #include <stdlib.h> #include <iostream>typedef struct DYNAMICARRAY {int* paddr;int size;int capacity; }dynamiCarray;dynamiCarray* Init_dynamiCarray() {dynam…
在MySQL和PostgreSQL之外，为什么阿里要研发HybridDB数据库？
编者按\\在大数据火遍IT界之前，大家对数据信息的挖掘通常聚焦在BI（Business Intelligence）之上。BI具有着明确的分析需求，清晰地知道需要处理哪些信息，并且如何最终获得多维度的SQL类型数据，这种多维度的分…
Linux命令-安装zip和unzip命令
1 [rootiz2zeea05by6vofxzsoxdbz elasticsearch]# unzip elasticsearch-6.2.4.zip 2 -bash: unzip: command not found 如果你如法使用unzip命令解压.zip文件，可能是你没有安装unzip软件，下面是安装方法 命令： yum list | grep zip/unzip …
【C++】【五】循环链表
数据结构：具体的高效有序的管理内存的方法。 链表：数据结构的一种 节点：每一块内存 每一个节点可以是裸指针 也可以是结构体 ，结合企业链表的思路可以将类型强转，完成高效的访问。main.cc // 单向循环链表.cpp …
IntelliJ IDEA 设置项目编码
2019独角兽企业重金招聘Python工程师标准>>> IntelliJ IDEA-> Editor->File Encodings 转载于:https://my.oschina.net/bigxuan/blog/804345
util.sh 脚本
#!/bin/bash for i in zzzhadoop101 zzzhadoop102 zzzhadoop103 doecho " $i "ssh $i /opt/module/jdk1.8.0_144/bin/jps donebin目录是在环境变量里的，所以在哪都可以执行 /home/zzz/bin目录下touch util.sh [zzzhadoop101 bin]$ touch …
bzoj3467: Crash和陶陶的游戏
就一篇题解： BZOJ3467 : Crash和陶陶的游戏 - weixin_34248487的博客 - CSDN博客 1.离线，建出Atrie树；B树的倍增哈希数组，节点按照到根路径字典序排序 2.处理A节点对应前缀对应B中的极长可以匹配的区间。在父亲节点区间内二分即可…
载入图像并且显示
#include <opencv2/opencv.hpp> using namespace cv;void main( ) { const char *fileName "1.jpg";Mat srcImage imread("1.jpg");imshow(fileName,srcImage);waitKey(0); }