在虚拟机上构建分布式 Hadoop 集群：分步指南

在当今大数据时代，Apache Hadoop 作为分布式数据处理框架的领军者，为企业处理和分析海量数据集提供了强大且灵活的解决方案。通过构建 Hadoop 集群，可以显著提高计算效率、存储容量和数据可用性。在本教程中，我们将引导您完成在虚拟机上设置分布式 Hadoop 集群的各个步骤，重点关注完全分布模式。

先决条件：

• 三台虚拟机：一台 Master 节点和两台 Worker 节点
• 最小化安装的 Linux 发行版（无 GUI）
• Java 开发工具包 (JDK)
• SSH 访问所有虚拟机

第 1 步：设置虚拟机

1. 创建三个虚拟机，并为 Master 节点分配比 Worker 节点更多的资源。
2. 安装 Linux 发行版，并配置网络和主机名。
3. 为每个虚拟机创建一个非 root 用户（hadoopuser）。

第 2 步：安装 Java

1. 在所有虚拟机上安装 Java。
2. 设置 JAVA_HOME 环境变量，指向 JDK 安装目录。

第 3 步：安装 Hadoop

1. 下载 Apache Hadoop 发行版。
2. 在所有虚拟机上解压缩 Hadoop 归档文件。

第 4 步：配置 Hadoop

core-site.xml （所有虚拟机）

• 设置 fs.default.name：<Master 节点的主机名>:9000
• 设置 hadoop.tmp.dir：/tmp/hadoop-<用户名>

hdfs-site.xml （Master 节点）

• 设置 dfs.replication：2
• 设置 dfs.namenode.name.dir：/namenode

mapred-site.xml （所有虚拟机）

• 设置 mapreduce.framework.name：yarn

yarn-site.xml （Master 节点）

• 设置 yarn.nodemanager.aux-services：mapreduce_shuffle

第 5 步：格式化 HDFS

在 Master 节点上运行以下命令：

hdfs namenode -format

第 6 步：启动 Hadoop 集群

在 Master 节点上启动以下服务：

start-dfs.sh
start-yarn.sh

在 Worker 节点上启动以下服务：

start-dfs.sh
start-yarn.sh

第 7 步：测试 Hadoop 集群

1. 使用以下命令创建测试文件：

hdfs dfs -mkdir /test
hdfs dfs -put <本地文件> /test

2. 使用以下命令验证文件：

hdfs dfs -ls /test

第 8 步：高级配置（可选）

• 启用高可用性（HA）
• 配置资源管理器（RM）和节点管理器（NM）
• 调优性能参数

结论

通过遵循本指南，您已经成功在虚拟机上构建了一个分布式 Hadoop 集群。该集群使您能够处理大型数据集，并从 Hadoop 分布式计算和数据存储功能中获益。随着大数据的持续增长，Hadoop 集群在现代数据分析和处理中的重要性只增不减。通过持续的优化和调整，您可以充分利用 Hadoop 的强大功能，为您的业务创造价值。