大数据框架之Hadoop：入门（三）Hadoop运行环境搭建（开发重点）
3.1虚拟机环境准备
详见：yiluohan1234/vagrant_bigdata_cluster: 利用virtualbox快速搭建大数据测试环境 (github.com)
单纯只是安装虚拟机的话，注释掉40到115行。按照教程安装即可。
在 /opt 目录下创建 module、 software 文件夹
[root@hdp101 ~]# mkdir -p /opt/module
[root@hdp101 ~]# mkdir -p /opt/software
3.2安装JDK
1.卸载现有 JDK
（1）查询是否安装 Java 软件：
[root@hdp101 ~]# rpm -qa | grep java
（2）如果安装的版本低于1.7，卸载该 JDK：
[root@hdp101 ~]# rpm -e 软件包
（3）查看 JDK 安装路径：
[root@hdp101 ~]# which java
2.用 Tabby 工具在 /opt/software 下载 JDK
wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gz
3.在Linux系统下的 /opt/software 目录中查看软件包是否下载成功
[root@hdp101 ~]# cd /opt/software
[root@hdp101 software]# ls
jdk-8u201-linux-x64.tar.gz
4.解压 JDK 到 /opt/module 目录下并重命名文件夹为java
[root@hdp101 software]# tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/module/
[root@hdp101 software]# mv /opt/module/jdk1.8.0_201 /opt/module/java
5.配置 JDK 环境变量
（1）先获取 JDK 路径
[root@hdp101 java]# pwd
/opt/module/java
（2）打开 /etc/profile 文件
[root@hdp101 java]# vi /etc/profile
在profile文件末尾添加 JDK 路径
# jdk environment
export JAVA_HOME=/opt/module/java
export PATH=${JAVA_HOME}/bin:$PATH
（3）保存后退出
:wq
（4）让修改后的文件生效
[root@hdp101 java]# source /etc/profile
6.测试 JDK 是否安装成功
[root@hdp101 java]# java -version
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)
3.3安装Hadoop
- Hadoop官网下载地址：https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz
推荐使用：https://mirrors.huaweicloud.com/apache/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz下载速度快
1.用 Tabby 工具将 hadoop-2.7.2.tar.gz 下载到opt目录下面的software文件夹下面
切换到 sftp 连接页面，选择 Linux 下编译的 hadoop tar 包拖入，如下图所示
[root@hdp101 software]# wget https://mirrors.huaweicloud.com/apache/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz
2.进入到 Hadoop 安装包路径下
[root@hdp101 ~]$ cd /opt/software/
3.解压安装文件到 /opt/module 下面，并重命名为hadoop
[root@hdp101 software]# tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/
[root@hdp101 software]# mv /opt/module/hadoop-2.7.7 /opt/module/hadoop
4.查看是否解压成功
[root@hdp101 software]# ls /opt/module/
java hadoop
5.将 Hadoop 添加到环境变量
（1）获取 Hadoop 安装路径
[root@hdp101 hadoop]# pwd
/opt/module/hadoop
（2）打开 /etc/profile 文件
[root@hdp101 hadoop]# vi /etc/profile
在 profile 文件末尾添加 JDK 路径：（shift+g）
# hadoop environment
export HADOOP_HOME=/opt/module/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
（3）保存后退出
:wq
（4）让修改后的文件生效
[root@hdp101 hadoop]# source /etc/profile
6.测试是否安装成功
[root@hdp101 hadoop]# hadoop version
Hadoop 2.7.7
Subversion Unknown -r c1aad84bd27cd79c3d1a7dd58202a8c3ee1ed3ac
Compiled by stevel on 2018-07-18T22:47Z
Compiled with protoc 2.5.0
From source with checksum 792e15d20b12c74bd6f19a1fb886490
This command was run using /opt/module/hadoop/share/hadoop/common/hadoop-common-2.7.7.jar
3.4Hadoop目录结构
1、查看 Hadoop 目录结构
[root@hdp101 hadoop]# ll
total 112
drwxr-xr-x 2 vagrant ftp 194 Jul 19 2018 bin
drwxr-xr-x 3 vagrant ftp 20 Jul 19 2018 etc
drwxr-xr-x 2 vagrant ftp 106 Jul 19 2018 include
drwxr-xr-x 3 vagrant ftp 20 Jul 19 2018 lib
drwxr-xr-x 2 vagrant ftp 239 Jul 19 2018 libexec
-rw-r--r-- 1 vagrant ftp 86424 Jul 19 2018 LICENSE.txt
-rw-r--r-- 1 vagrant ftp 14978 Jul 19 2018 NOTICE.txt
-rw-r--r-- 1 vagrant ftp 1366 Jul 19 2018 README.txt
drwxr-xr-x 2 vagrant ftp 4096 Jul 19 2018 sbin
drwxr-xr-x 4 vagrant ftp 31 Jul 19 2018 share
2、重要目录
（1）bin目录：存放对 Hadoop 相关服务（HDFS, YARN ）进行操作的脚本
（2）etc目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件
（3）lib目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止 Hadoop 相关服务的脚本
（5）share目录：存放 Hadoop 的依赖jar包、文档、和官方案例
下一篇：Cordova