环境参数
| 项目 | 参数 | 备注 |
|---|---|---|
| 操作系统 | CentOS7 | 1908 |
| JDK | 1.8.0_212 | |
| hadoop | 3.1.3 |
前期准备
Centos 1908单台安装 1）配置IP等，能够上网 2）安装epel-release 注：Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包， 适用于RHEL、CentOS 和Scientific Linux。相当于是一个软件仓库，大多数rpm 包在官方repository 中是找不到的）
[root@hadoop100 ~]# yum install -y epel-release
3）如果Linux 安装的是最小系统版，还需要安装如下工具；如果安装的是Linu桌面标准版，不需要执行如下操作
➢ net-tool：工具包集合，包含ifconfig 等命令
[root@hadoop100 ~]# yum install -y net-tools
➢ vim：编辑器
[root@hadoop100 ~]# yum install -y vim
4）关闭防火墙，关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
5）创建用户并配置root权限
[root@hadoop100 ~]# useradd zyi
[root@hadoop100 ~]# passwd zyi
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：
#Allow root to run any commands anywhere
root ALL=(ALL) ALL
#Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
zyi ALL=(ALL) NOPASSWD: ALL
这一行不要直接放到root行下面，因为所有用户都属于 wheel组，先 配置了zyi具有免密功能，但是程序执行到 %wheel行时， 该功能又被覆盖回。所以zyi要放到要放到 %wheel这行下面。
6）在/opt目录下创建文件夹 ，并修改所属主和组
root@h102 software]# mkdir /opt/module
root@h102 software]# mkdir /opt/software
root@h102 software]# chown zyi:zyi /opt/module/
root@h102 software]# chown zyi:zyi /opt/software/
7）卸载虚拟机自带的 JDK
[root@h102 jdk1.8.0_212]# rpm -qa | grep -i java # 查看现有哪些JDK
[root@h102 jdk1.8.0_212]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps #卸载
➢ rpm -qa：查询所安装的所有rpm软件包
➢ grep -i：忽略大小写
➢ xargs -n1：表示每次只传递一个参数
➢ rpm -e –nodeps：强制卸载软件
根据需要克隆一定数量虚机
安装步骤
Hadoop下载地址 下载地址 ：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/
1）Scp两个安装包到/opt/software
root@h102 software]# ll
total 520600
-rw-r--r--. 1 root root 338075860 Jun 1 02:26 hadoop-3.1.3.tar.gz
-rw-r--r--. 1 root root 195013152 Jun 1 02:40 jdk-8u212-linux-x64.tar.gz
2）解压两个包到工作目录/opt/module
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
3）配置环境变量 新建 /etc/profile.d/my_env.sh（在/etc/profile下，可以看到启动时遍历/etc/profile.d/*.sh)
vim /etc/profile.d/my_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source一下，使得新的环境变量生效
source /etc/profile
4）测试安装情况
[root@h102 software]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[root@h102 software]# hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
hadoop目录结构
[root@h102 hadoop-3.1.3]# ll
total 176
drwxr-xr-x. 2 zyi zyi 183 Sep 12 2019 bin
drwxr-xr-x. 3 zyi zyi 20 Sep 11 2019 etc
drwxr-xr-x. 2 zyi zyi 106 Sep 12 2019 include
drwxr-xr-x. 3 zyi zyi 20 Sep 12 2019 lib
drwxr-xr-x. 4 zyi zyi 288 Sep 12 2019 libexec
-rw-rw-r--. 1 zyi zyi 147145 Sep 4 2019 LICENSE.txt
-rw-rw-r--. 1 zyi zyi 21867 Sep 4 2019 NOTICE.txt
-rw-rw-r--. 1 zyi zyi 1366 Sep 4 2019 README.txt
drwxr-xr-x. 3 zyi zyi 4096 Sep 11 2019 sbin
drwxr-xr-x. 4 zyi zyi 31 Sep 12 2019 share
（1）bin目录：存放对 Hadoop相关服务（ hdfs，yarn，mapred）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放 Hadoop的配置文件
（3）lib目录：存放 Hadoop的本地库（对数据进行压缩解功能）
（4）sbin目录：存放启动或停止 Hadoop相关服务的脚本
（5）share目录：存放 Hadoop的依赖 jar包、文档 、和官方案例