Hadoop分布式模式部署指南：使用两个节点搭建简单集群环境

搭建一个分布式的 Hadoop 集群：分步指南

准备好在两个物理机器上搭建一个 Hadoop 集群了吗？本文将引导您完成这个过程，让您能够亲身体验分布式计算的力量。

系统准备

首先，确保您的两台机器都已准备好：

• 操作系统：CentOS 7 或 Ubuntu 16.04
• Java：8 或更高版本
• SSH：启用并配置免密码登录

安装 Java

在两台机器上安装 Java 8 或更高版本：

sudo yum install java-1.8.0-openjdk

下载 Hadoop

从 Hadoop 官网下载最新版本的 Hadoop 二进制发行版：

wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

解压 Hadoop

在两台机器上解压 Hadoop 压缩包：

tar -xzvf hadoop-3.3.0.tar.gz

配置 Hadoop

接下来，在两台机器上配置 Hadoop 配置文件：

• core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop-master:9000</value>
  </property>
</configuration>

• hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/hadoop-data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/hadoop-data/datanode</value>
  </property>
</configuration>

• mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop-master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop-master:19888</value>
  </property>
</configuration>

• yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop-master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

格式化 NameNode

在 hadoop-master 上格式化 NameNode：

hdfs namenode -format

启动 Hadoop 服务

在 hadoop-master 上启动 Hadoop 服务：

start-dfs.sh
start-yarn.sh

验证 Hadoop 服务

在 hadoop-slave 上验证 Hadoop 服务是否正常运行：

hdfs dfsadmin -report

提交作业

在 hadoop-master 上提交一个简单的 MapReduce 作业：

hadoop jar /path/to/my_job.jar MyJob

查看作业状态

在 hadoop-master 上查看作业状态：

hadoop job -list

查看作业输出

在 hadoop-slave 上查看作业输出：

hdfs dfs -cat /output/part-r-00000

常见问题解答

1. Hadoop 集群的好处是什么？

分布式计算，高可用性，扩展性。

2. 我可以将 Hadoop 用于哪些应用程序？

数据处理、机器学习、大数据分析。

3. 如何扩展 Hadoop 集群？

添加更多工作节点或升级现有节点。

4. Hadoop 是否可以与其他大数据工具集成？

Spark、Hive、Pig 等。

5. Hadoop 的未来是什么？

云计算、物联网、边缘计算的持续集成。

结论

恭喜您在两个物理机器上成功搭建了一个 Hadoop 集群！现在，您已具备了探索分布式计算世界的基础知识。继续试验不同的应用程序，并发现 Hadoop 的惊人功能。