当前位置： 首页 > 编程日记 > 正文

【Big Data】HADOOP集群的配置（一）

编程日记 2024-10-30 14:10:00

Hadoop集群的配置（一）

摘要: hadoop集群配置系列文档，是笔者在实验室真机环境实验后整理而得。以便随后工作所需，做以知识整理，另则与博客园朋友分享实验成果，因为笔者在学习初期，也遇到不少问题。但是网上一些文档大多互相抄袭，里面错误百出。笔者结合自学书籍视频等资料，完成这一套配置资料。实验结果和过程经过反复测试无误后方整理出来的。配置过程中，初学者若有实验环境，可以在真机环境下完成，若无条件，可补习下虚拟机与Linux操作系统的基础知识，以及里面对linux常规命令使用，建议读者边配置学学习。（本文原创/整理，转载请标注原文出处: Hadoop集群的配置（一） ）

白宁超

2015年7月11日22:24:14

相关文章

  1. 【Oracle RAC集群搭建1】 集群概念介绍
  2. 【Oracle RAC集群搭建2】 ORACLE集群概念和原理
  3. 【Oracle RAC集群搭建3】 RAC 工作原理和相关组件
  4. 【Oracle RAC集群搭建4】 缓存融合技术
  5. 【Oracle RAC集群搭建5】 RAC 特殊问题和实战经验
  6. 【Oracle RAC集群搭建6】 ORACLE 11 G版本2 RAC在LINUX上使用NFS安装前准备
  7. 【Oracle RAC集群搭建7】 ORACLE ENTERPRISE LINUX 5.7下DATABASE 11G RAC集群安装
  8. 【Oracle RAC集群搭建8】 ORACLE ENTERPRISE LINUX 5.7下DATABASE 11G RAC数据库安装
  9. 【Oracle RAC集群搭建9】 ORACLE ENTERPRISE LINUX 5.7下DATABASE 11G RAC基本测试与使用

  10. 【MySql集群搭建】   真机环境下MySQL-Cluster搭建文档

  11. 【Hadoop集群搭建1】Hadoop集群的配置

  12. 【Hadoop集群搭建2】Hadoop集群的配置

1.    实验准备

1.1    目的：

在虚拟机环境下，让同学们学会从零开始配置Hadoop-2.2集群，并尝试在真实环境下搭建集群。

1.2    主要内容：

物理机器总共4台，想配置基于物理机的Hadoop集群中包括4个节点： 1 个 Master， 3个 Salve ，节点之间局域网连接，可以相互 ping通。IP的分布如表1所示。

表1        4个节点的IP地址分配及角色

Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。

用到的所有文件

1.4 用户信息（所有节点一样）

2.搭建虚拟集群环境

安装完VMWare10后，解压CentOS到指定文件夹下，打开VMWare10，点击菜单栏“文件”-->“打开”，选择CentOS文件，如图。

右击CentOS选择属性，弹出设置窗口。里面是虚拟系统的主要硬件参数信息，读者可以根据自己机器性能配置，这里选默认。

2.1三种连接方式

VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)。要想在网络管理和维护中合理应用它们，就应该先了解一下这三种工作模式。主机上安装VMware Workstation或VMware Server的时候，默认会安装3块虚拟网卡，这3块虚拟网卡的名称分别为VMnet0、VMnet1、VMnet8，其中VMnet0的网络属性为“物 理网卡”，VMnet1与VMnet8的网络属性为“虚拟网卡”。在默认情况下，VMnet1虚拟网卡的定义是“仅主机虚拟网络”，VMnet8虚拟网卡的定义是“NAT网络”，同时，主机物理网卡被定义为“桥接网络”，主机物理网卡也可以称为VMnet0。

大家在安装完虚拟机后，默认安装了两个虚拟网卡，VMnet1和 VMnet8。其中VMnet1是hostonly网卡，用于host方式连接网络的。VMnet8是NAT网卡，用 于NAT方式连接网络的。它们的IP地址默认是的，如果要用虚拟机做实验的话，最好将VMnet1到VMnet8的IP地址改掉。习惯上把 VMware虚拟网卡使用的网段“固定”，即设置为静态ip。使用如下原则：VMnet1对应的网段是192.168.10.0，VMnet8对应的网段是 192.168.80.0。

1.bridged(桥接模式)

在这种模式下，VMWare虚拟出来的操作系统就像是局域网中的一台独立的主机，它可以访问网内任何一台机器。在桥接模式下，需要手工为虚拟系统配置IP地址、子网掩码，而且还要和宿主机器处于同一网段，这样虚拟系统才能和宿主机器进行通信。同时，由于这个虚拟系统是局域网中的一个独立的主机系统，那么就可以手工配置它的TCP/IP配置信息，以实现通过局域网的网关或路由器访问互联网。使用桥接模式的虚拟系统和宿主机器的关系，就像连接在同一个Hub上的两台电脑。想让它们相互通讯，你就需要为虚拟系统配置IP地址和子网掩码，否则就无法通信。如果想利用VMWare在局域网内新建一个虚拟服务器，为局域网用户提供网络服务，就应该选择桥接模式。使用这种方式很简单，前提是要得到1个以上的地址。对于想进行种种网络实验的朋友不太适合，因为无法对虚拟机的网络进行控制，它直接就出去了。

使用桥接方式，A，A1，A2，B可互访。

2.host-only(仅主机模式)

在某些特殊的网络调试环境中，要求将真实环境和虚拟环境隔离开，这时你就可采用host-only模式。在host-only模式中，所有的虚拟系统是可以相互通信的，但虚拟系统和真实的网络是被隔离开的。提示：在host-only模式下，虚拟系统和宿主机器系统是可以相互通信的，相当于这两台机器通过双绞线互连。在host-only模式下，虚拟系统的TCP/IP配置信息(如IP地址、网关地址、DNS服务器等)，都可以由VMnet1(host-only)虚拟网络的DHCP服务器来动态分配。如果想利用VMWare创建一个与网内其他机器相隔离的虚拟系统，进行某些特殊的网络调试工作，可以选择host-only模式。

使用Host方式，A，A1，A2可以互访，但A1，A2不能访问B，也不能被B访问。

3.NAT(网络地址转换模式)

使用NAT模式，就是让虚拟系统借助NAT（网络地址转换）功能，通过宿主机器所在的网络来访问公网。也就是说，使用NAT模式可以实现在虚拟系统中安全的访问互联网。NAT模式下虚拟系统的TCP/IP配置信息是由VMnet8（NAT）虚拟网络的DHCP服务器提供的，无法进行手工修改，因此虚拟系统也就无法和本局域网中的其他真实主机进行通讯。采用NAT模式最大的优势是虚拟系统接入互联网非常简单，你不需要进行任何其他的配置，只需要宿主机器能访问互联网即可。如果想利用VMWare安装一个新的虚拟系统，在虚拟系统中不用进行任何手工配置就能直接访问互联网，建议采用NAT模式。提示：以上所提到的NAT模式下的VMnet8虚拟网络，host-only模式下的VMnet1虚拟网络，以及bridged模式下的VMnet0虚拟网络，都是由VMWare虚拟机自动配置而生成的，不需要用户自行设置。VMnet8和VMnet1提供DHCP服务，VMnet0虚拟网络则不提供。

使用NAT方式，A1，A2可以访问B，但B不可以访问A1，A2。但A，A1，A2可以互访。

全局网络拓扑图：

思考：真实部署要根据网络环境的不同而配置不同的连接方式，那么请思考，在6601机房搭建真实集群对应哪种连接方式？

2.2  host-only连接步骤

在学习VMWare虚拟网络时，我们建议选择host-only方式。第一，如果你的电脑是笔记本，从A移到B网络环境发生变化后，只有host-only方式不受影响，其他方式必须重新设置虚拟交换机配置。第二，将真实环境和虚拟环境隔离开，保证了虚拟环境的安全。

按绿色箭头启动虚拟机，角色选择other，输入root角色名，这里的密码是hadoop，具体密码由CentOS安装时设置，而我们使用的是安装好的。

由于选择的是host-only连接方式，VMnet1必须打开，然后设置ipv4。

由于host-only方式不能连接外网，所以DNS不需配置，其他方式想要访问外网必须配置。

在Linux桌面环境中右击电脑图标，选中“EditConnection”进行如下配置：

打开终端，查看配置情况。

检查与Windows主机的通信情况。

1.Windows-->Linux

2.Linux-->Winodws

思考：访问外部主机失败，分析为什么？

2.3 使用PieTTY连接Linux

填写连接目的的IP地址，端口是SSH模式的访问端口22，点击open，输入角色和密码登录。

提示“潜在安全缺口”，由于首次使用PieTTy登陆Linux[微软用户1] 虚拟机，PieTTY缓存里面并没有该Linux虚拟机的rsa2公钥信息，因此会提示是否信任次机器，我们选择是。

其他常用登录工具还有putty，XShell等，PieTTY相比之下操作简单功能丰富。

2.3 新建用户

使用root登陆后，创建Hadoop用户，在hadoopGroup组里。

1.创建hadoopGroup组

添加用户时，可以将用户添加到现有的用户组，或者创建一个新的用户组。可以在/etc/group文件中看到所有的用户组信息。默认的用户组通常用来管理系统用户，不建议将普通用户添加到这些用户组。使用groupadd命令创建用户组的语法为：

groupadd [-g gid [-o]] [-r] [-f] groupname

每个选项的含义如下：

如果不指定选项，系统将使用默认值。创建一个 hadoopGroup用户组：

$ groupadd hadoopGroup
2. 添加Hadoop用户

添加用户可以使用useradd命令，语法为：

useradd -d homedir -g groupname -m -s shell -u userid accountname

每个选项的含义如下：



指定用户主目录/home/hadoop用户组hadoopGroup。

用户被创建后，可以使用passwd命令来设置密码，如：

$ passwd hadoop
Changing password for user hadoop.
New Linux password:******
Retype new UNIX password:******
passwd: all authentication tokens updated successfully.

2.4 安装jdk，hadoop

1.使用winscp传输文件

在root用户下，执行命令rm -rf  /usr/local/*

删除目录下所有内容（当前内容无用）使用winscp把jdk文件从windows复制到/usr/local目录下。点击新建一个会话。

输入用户和密码：

2.解压文件

解压命令tar -zvxf jdk-7u67-linux-x64.tar.gz到当前目录。

更改文件名为jdk1.7。

同样，解压命令tar -zvxf jdk-7u67-linux-x64.tar.gz到当前目录，并通过命令

mv hadoop-2.2.0 /home/hadoop/hadoop2.2 移动到Hadoop用户的主目录下。

3.目录规划

Hadoop程序存放目录为/home/hadoop/hadoop2.2，相关的数据目录，包括日志、存储等指定为/home/hadoop/hadoop2.2。将程序和数据目录分开，可以更加方便的进行配置的同步。

具体目录的准备与配置如下所示：

l  在每个节点上创建程序存储目录/home/hadoop/hadoop2.2，用来存放Hadoop程序文件。

l  在每个节点上创建数据存储目录/home/hadoop/hadoop2.2/hdfs，用来存放集群数据。

l  在主节点node上创建目录/home/hadoop/hadoop2.2/hdfs/name，用来存放文件系统元数据。

l  在每个从节点上创建目录/home/hadoop/hadoop2.2/hdfs/data，用来存放真正的数据。

l  所有节点上的日志目录为/home/hadoop/hadoop2.2/logs。

l  所有节点上的临时目录为/home/hadoop/hadoop2.2/tmp。

执行命令mkdir -p  /home/hadoop/hadoop2.2/hdfs，为还没有的目录创建，后面以此类推。

给hadoopGroup组赋予权限，凡是属于hadoopGroup组的用户都有权利使用hadoop2.2，方便多用户操作。首先，把Hadoop2.2加入到hadoopGroup组：

chgrp -R hadoopGroup hadoop2.2

给这个组赋予权限：

chmod -R g=rwx hadoop2.2

4.导入JDK环境变量

执行cd /etc命令后执行vi profile，在行末尾添加：

export JAVA_HOME=/usr/local/jdk1.7

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export PATH=.:$JAVA_HOME/bin:$PATH


 执行source profile，使其配置立即生效。

执行java –version，查看是否安装成功。

5.导入Hadoop环境变量

同上面一样，修改profile。

export  HADOOP_HOME=/home/hadoop/hadoop2.2

export PATH=.:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

export HADOOP_LOG_DIR=/home/hadoop/hadoop2.2/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

执行hadoop命令，查看有没有成功。

2.5.修改主机名

1.修改当前会话中的主机名，执行命令hostname node。

但是这种配置只对当前状态有效，一旦重新启动虚拟机，主机名未变。

2.修改配置文件中的主机名，执行命令vi /etc/sysconfig/network。

重启生效，由于第一步已经在当前会话中配置了hostname，所以不用重启。

3.绑定hostname与IP

执行vi/etc/hosts，增加内容如下：

192.168.10.100         node

192.168.10.101         node1

192.168.10.102         node2

192.168.10.103         node3

Ping node，检验是否修改成功？

2.6 关闭防火墙

如果不关闭防火墙，有以下几种情况出现：

第一：hdfs的Web管理页面，打不开该节点的文件浏览页面。

第二：后台运行脚本（HIVE的），会出现莫名其妙的假死状态。

第三：在删除和增加节点的时候，会让数据迁移处理时间更长，甚至不能正常完成相关操作。

第四：不管你做任何操作，都是会运行不正常，而且很不顺手。

执行命令service iptables stop

验证：  service iptables status

执行上面操作可以关闭防火墙，但重启后还会继续运行，所以还要关闭防火墙的自动运行。

执行命令 chkconfig iptables off

验证：  chkconfig --list |grep iptables

2.7 修改hadoop2.2配置文件

Hadoop没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API，即使org.apache.hadoop.conf.Configuration处理配置信息，大家也可以通过eclipse工具分析下源码，并利用这些api修改配置文件。

由于Hadoop集群中每个机器上面的配置基本相同，所以先在namenode上面进行配置部署，然后再复制到其他节点。

1. 配置 ~/hadoop2.2/etc/hadoop下的hadoop-env.sh、yarn-env.sh、mapred-env.sh

修改JAVA_HOME值（export JAVA_HOME=/usr/local/jdk1.7/）

2. 配置 ~/hadoop2.2/etc/hadoop/slaves（这个文件里面保存所有slave节点）

3. 配置 ~/hadoop-2.2.0/etc/hadoop/core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://node:9000/</value><description> 设定 namenode 的 主机名 及 端口 </description></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp/hadoop-${user.name}</value><description> 存放临时文件的目录 </description></property>  <property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value></property></configuration>

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/core-default.xml

4. 配置 ~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

<configuration>  <property>  <name>dfs.namenode.http-address</name>  <value>node:50070</value>  <description> NameNode 通过当前参数 获得 fsimage 和 edits </description>  </property><property>  <name>dfs.namenode.secondary.http-address</name>  <value>node1:50090</value>  <description> SecondNameNode 通过当前参数 获得最新的 fsimage </description>  </property> <property><name>dfs.replication</name><value>3</value><description> 设定 HDFS 存储文件的副本个数，默认为3 </description></property><property>  <name>dfs.namenode.name.dir</name>  <value>file:///home/hadoop/hadoop2.2/hdfs/name</value>  <description> namenode 用来持续存放命名空间和交换日志的本地文件系统路径 </description>  </property>  <property>  <name>dfs.datanode.data.dir</name><value>file:///home/hadoop/hadoop2.2/hdfs/data</value>  <description> DataNode 在本地存放块文件的目录列表，用逗号分隔 </description>  </property>  <property>  <name>dfs.namenode.checkpoint.dir</name>  <value>file:///home/hadoop/hadoop2.2/hdfs/namesecondary</value>  <description> 设置 secondary 存放 临时镜像 的本地文件系统路径，如果这是一个用逗号分隔的文件列表，则镜像将会冗余复制到所有目录，只对 secondary 有效 </description>  </property> <property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.stream-buffer-size</name><value>131072</value><description> 默认是4KB，作为hadoop缓冲区，用于hadoop读hdfs的文件和写
hdfs的文件，还有map的输出都用到了这个缓冲区容量，对于现在的硬件很保守，可以设置为128k
(131072),甚至是1M(太大了map和reduce任务可能会内存溢出) </description></property> <property>  <name>dfs.namenode.checkpoint.period</name>  <value>3600</value>  <description> 两次 checkpoints 之间的间隔，单位为秒，只对 secondary 有效 </description>  </property> </configuration>

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

5. 配置 ~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

<configuration>  <property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobtracker.address</name><value>hdfs://trucy:9001</value></property><property><name>mapreduce.jobhistory.address</name><value>node:10020</value><description>
MapReduce JobHistory Server host:port, default port is 10020.</description></property><property><name>mapreduce.jobhistory.webapp.address</name><value>node:19888</value>
<description>MapReduce JobHistory Server Web UI host:port, default port is 19888.</description></property></configuration>

http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

6. 配置 ~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

<configuration><property><name>yarn.resourcemanager.hostname</name><value>node</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>node:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>node:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>node:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>node:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>node:8088</value></property></configuration>

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

未完待续.......

下节：Hadoop集群的配置（二）

尾注：本系列文档，笔者真机环境测试无误得以分享，纯属原创，若有转载，请注释出处.


https://www.dkcj.cn/info/25318.html

相关文章：

C语言 条件编译详解

预处理过程扫描源代码&#xff0c;对其进行初步的转换&#xff0c;产生新的源代码提供给编译器。可见预处理过程先于编译器对源代码进行处理。在C 语言中&#xff0c;并没有任何内在的机制来完成如下一些功能&#xff1a;在编译时包含其他源文件、定义宏、根据条件决定编译时是…

编程日记2024/10/30 14:00:01

凝聚406万开发者 飞桨十大发布提速产业智能化

12月12日&#xff0c;由深度学习技术及应用国家工程实验室主办的WAVE SUMMIT2021深度学习开发者峰会在上海召开。百度首席技术官、深度学习技术及应用国家工程实验室主任王海峰公布飞桨最新成绩单&#xff1a;凝聚406万开发者、创建47.6万模型、服务15.7万企事业单位&#xff0…

编程日记2024/10/30 13:50:00

环境变量，cp，mv，查看文档命令

2019独角兽企业重金招聘Python工程师标准>>> 一、环境变量PATH echo $PATH 打印当前的环境变量 PATH$PATH:路径 自定义环境变量 which查找某个命令的绝对路径&#xff0c;也可以查看某个命令的别名&#xff0c;which查找的范围就在PATH下的几个目录下查找&#xff1…

编程日记2024/10/30 13:40:00

Linux中errno使用

当linux中的C api函数发生异常时,一般会将errno变量(需include errno.h)赋一个整数值,不同的值表示不同的含义,可以通过查看该值推测出错的原因&#xff0c;在实际编程中用这一招解决了不少原本看来莫名其妙的问题。但是errno是一个数字&#xff0c;代表的具体含义还要到errno.…

编程日记2024/10/30 13:30:01

工程师文化：BAT 为什么不喊老板

BAT员工之间不喊老板&#xff0c;也不喊真名&#xff0c;而是用同学、花名&#xff0c;这是虚情假意&#xff1f;还是弘扬武侠文化&#xff1f;还是另有隐情&#xff1f;为什么欧美公司不这么做&#xff1f;本文将带大家走进科学&#xff0c;探索真相。 BAT 的称呼方式 腾讯&am…

编程日记2024/10/30 13:20:00

SVN常见问题

2019独角兽企业重金招聘Python工程师标准>>> 目录[隐藏] 1. 提示SVN证书过期&#xff1f; 2. 用户名密码校验失败&#xff1f; 3. SVN提交文件时提示文件冲突怎么办&#xff1f; 4. SVN提交文件时提示失败&#xff1f; 1. 提示SVN证书过期&#xff1f; 问题描述&…

编程日记2024/10/30 13:10:00

2017海克斯康拉斯维加斯美国大会 精彩即将开始

海克斯康集团与遍及全球行业用户的故事已经证明&#xff0c;海克斯康先进的解决方案影响着世界各行各业的发展&#xff0c;并为他们带来了颠覆性的科技变革...... 通过海克斯康集团与遍及全球行业用户的故事&#xff0c;已经证明海克斯康先进的解决方案影响着世界各行各业的发展…

编程日记2024/10/30 13:00:00

Linux环境编程--waitpid与fork与execlp

waitpidwaitpid(等待子进程中断或结束)表头文件#include<sys/types.h>#include<sys/wait.h>定义函数 pid_t waitpid(pid_t pid,int * status,int options);函数说明waitpid()会暂时停止目前进程的执行,直到有信号来到或子进程结束。如果在调用 wait()时子进程已经结…

编程日记2024/10/30 12:50:00

C# 批处理制作静默安装程序包

使用批处理WinRAR制作静默安装程序包 echo 安装完窗口会自动关闭&#xff01;&#xff01;&#xff01; echo off start /wait Lync.exe /Install /Silent start /wait vcredist_x86/vcredist_x86.exe /q /norestart start /wait DotNetFx40/dotNetFx40_Full_x86_x64.exe /q /…

编程日记2024/10/30 12:40:00

程序员是复制粘贴的工具人？还是掌握“谜底”的魔术师？

作者 | David Heinemeier Hansson译者 | 弯月出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;编程世界在经历了“Imposter Syndrome(冒充者症候群/负担症候群&#xff09;”和“gatekeeping&#xff08;守门人理论&#xff09;”两方的激战之后&#xff0c;最终以“…

编程日记2024/10/30 12:30:00

Josephus Problem的详细算法及其Python, Java语言的实现

笔者昨天看电视&#xff0c;偶尔看到一集讲述古罗马人与犹太人的战争——马萨达战争&#xff0c;深为震撼&#xff0c;有兴趣的同学可以移步&#xff1a;http://finance.ifeng.com/a/20170627/15491157_0.shtml . 这不仅让笔者想起以前在学数据结构时碰到的Josephus问题&a…

编程日记2024/10/30 12:20:00

SlightPHP

SlightPHP是一个轻量级的php框架&#xff0c;支持php5&#xff0c;和php模块方式使用&#xff0c;和apc使用性能更高&#xff01;项目地址&#xff1a;http://code.google.com/p/slightphp/源码地址&#xff1a;http://slightphp.googlecode.com/svn/trunk/你有两种方法使用Sli…

编程日记2024/10/30 12:10:00

bzoj1178

题目&#xff1a;http://www.lydsy.com/JudgeOnline/problem.php?id1178 看ppthttp://wenku.baidu.com/link?urldJv6LNme7syiLGM-TzbEEKXwx36JWEnI5HFrIlzfmzUXXg4HG8FDggj5WQS3EKL3k3p-sUYeJ268jCvN4t_kq2YPo3I4GXvaGulQjXrO3d7#include<cstdio> #include<cstdlib&…

编程日记2024/10/30 12:00:00

编程能力差，学不好Python、AI、Java等技术，90%是输在了这点上！

据了解&#xff0c;超90%的人在学习Python、Java、AI等技术时&#xff0c;都是在网上随便找个入门的教程就开始学起来。然而多数人在看了不少教程后&#xff0c;还是很难独立完成项目&#xff0c;甚至反思自己为什么学了这么久编程能力还是这么差&#xff01;因为你在刚刚开始学…

编程日记2024/10/30 11:50:00

cglib代理的使用

一、什么是CGLIB? 总的来说&#xff0c;无论是cglib、jdk动态代理又或者是aop面向切面编程&#xff0c;都运用到了一个最重要的设计模式--代理模式&#xff01;万变不离其终&#xff0c;学好代理模式&#xff0c;打遍天下无敌手&#xff01; cglib就是一个字节码生成和转换的库…

编程日记2024/10/30 11:40:00

使用PHP+Sphinx建立高效的站内搜索引擎

1. 为什么要使用Sphinx假设你现在运营着一个论坛&#xff0c;论坛数据已经超过100W&#xff0c;很多用户都反映论坛搜索的速度非常慢&#xff0c;那么这时你就可以考虑使用Sphinx了&#xff08;当然其他的全文检索程序或方法也行&#xff09;。2. Sphinx是什么Sphinx由俄…

编程日记2024/10/30 11:30:00

9个必知的 Python 操作文件/文件夹方法

作者 | 欣一来源 | Python爱好者集中营近几年随着Python的热度不断上涨&#xff0c;人们渐渐使用这门编程语言来进行一些自动化操作&#xff0c;以节省重复劳动带来的效率低下&#xff0c;那么必定会涉及到对文件系统的操作&#xff0c;包括文件的增、删、改、查等等&#xff0…

编程日记2024/10/30 11:20:00

Get/POST方法提交的长度限制

&#xfeff;&#xfeff;1. Get方法长度限制 Http Get方法提交的数据大小长度并没有限制&#xff0c;HTTP协议规范没有对URL长度进行限制。这个限制是特定的浏览器及服务器对它的限制。 如&#xff1a;IE对URL长度的限制是2083字节(2K35)。 下面就是对各种浏览器和服务器的…

编程日记2024/10/30 11:10:00

Bitmap上下合成图片

合成两张图片&#xff0c;上下叠加的效果&#xff1a; /*** 把两个位图覆盖合成为一个位图&#xff0c;以底层位图的长宽为基准** param backBitmap 在底部的位图* param frontBitmap 盖在上面的位图* return*/public static Bitmap mergeBitmap(Bitmap backBitmap, Bitmap fr…

编程日记2024/10/30 11:00:00

PHP 符号大全

注解符号: // 单行注解 /* */ 多行注解引号的使用’ ’ 单引号,没有任何意义,不经任何处理直接拿过来;" "双引号,php动态处理然后输出,一般用于变量.变量形态: 一种是True 即 真的;另一种是False 即假的常见变量形态: string 字串(数字\汉…

编程日记2024/10/30 10:50:00

添加Net4CollectionTypeFactory的原因

.NET4.0已经实现了该功能 http://jahav.com/blog/nhibernate-using-net-4-iset/ NHibernate using .NET 4 ISet 0 CommentsNHibernate 4.0 (released in 2014-08-17) has brought us support for .NET 4 ISet<> collections, thus freeing us from the tyranny of the Ie…

编程日记2024/10/30 10:40:00

LTSM 实现多元素时序数据植物健康预测

作者 | 李秋键 出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09; 引言&#xff1a; 近些年来&#xff0c;“预测”一词在各个领域被频繁提及&#xff0c;所谓预测&#xff0c;实际上就是根据历史规律&#xff0c;推测未来结果。在科学技术发展有限的过去&#xff0…

编程日记2024/10/30 10:30:00

如何扩大以太坊的规模：分片简介(How to Scale Ethereum: Sharding Explained)

2019独角兽企业重金招聘Python工程师标准>>> 分片是提高区块链效率的一个主要流派。下面简单通俗的解释一下分片算法。 以太猫(Cryptokitties)堵塞了以太坊网络好几天&#xff0c;以太坊--世界上最大的&#xff0c;公开的区块链目前是无法扩容的&#xff0c;也众所周…

编程日记2024/10/30 10:20:00

Xdebug的安装-（无错可执行版）

xdebug是一个开源的php调试器&#xff0c;以php模块的形式加载并被使用。可以用来跟踪&#xff0c;调试和分析PHP程序的运行状况. 这里以PHP5.2.13为例, 1.下载php_xdebug-2.1.0-5.2.dll文件, http://www.xdebug.org/download.php 选择&#xff1a;PHP 5.2 VC6 TS (32 bit) 选择…

编程日记2024/10/30 10:10:00

云游戏、VR、AI，云计算给元宇宙提供了哪些想象力？

2021 最火的新概念&#xff0c;莫过于元宇宙。2021 年 10 月 29 日&#xff0c;Facebook 宣布改名 Meta&#xff1b;2021 年 11 月 1 日&#xff0c;“元宇宙第一股” Roblox 经过短暂调整&#xff0c;宣布重新上线。接下来关于元宇宙的线下 / 线上讨论如火如荼&#xff0c;…

编程日记2024/10/30 10:00:00

sys.check_constraints

每个用作 CHECK 约束&#xff08;sys.objects.type C&#xff09;的对象都在表中占一行。 SELECT name FROM sys.check_constraints-- equal to SELECT o.name FROM sys.sysobjects oJOIN sys.sysconstraints s ON o.parent_obj s.id WHERE o.xtype C GROUP BY o.…

编程日记2024/10/30 09:50:00

什么是Bootstrap Aggregating

简介 Bootstrap Aggregating也叫作bagging&#xff0c;是一种机器学习领域用来做模型合并的一种算法。这种算法可以提高统计分类器和回归器的稳定性和准确度。同时也可以帮助模型避免过拟合。历史Bootstrap Aggregating最早在1994年由Leo Breiman提出&#xff0c;当时用来通过随…

编程日记2024/10/30 09:40:00

柯南君：看大数据时代下的IT架构（5）消息队列之RabbitMQ--案例（Work Queues起航）...

二、Work Queues&#xff08;using the Java Client) 走起 在第上一个教程中我们写程序从一个命名队列发送和接收消息。在这一次我们将创建一个工作队列,将用于分发耗时的任务在多个工作者&#xff08;worker&#xff09;之间。 背后的主要思想工作队列(又名:任务队列)是为了避…

编程日记2024/10/30 09:30:00

图像分析用 OpenCV 与 Skimage，哪一个更好？

作者 | 小白来源 | 小白学视觉这两种算法在它们可以检测到的和不能检测到的方面都有其起伏。OpenCV 是用 C 在后端进行编程的&#xff0c;并作为一个机器学习包&#xff0c;来分析 Python 中的图像模式。Skimage 也称为 Scikit-Image &#xff0c;是一个机器学习软件包&#xf…

编程日记2024/10/30 09:20:00

NetBeans配置Xdebug

这篇文章已经更新&#xff0c;看 Windows环境配置xdebug调试PHP Windows环境 或者 NetBeans配置Xdebug 远程调试PHP Linux环境nebeans配置xdebug可以方便我们逐步的查看程序的运行情况对我们调试程序是非常有利的下面我就来介绍下配置的过程。先要安装xdebug&#xff0c;可以参…

编程日记2024/10/30 09:10:00