深入浅出：在 Windows 上构建 Hadoop 测试环境

在 Windows 上搭建 Hadoop 测试环境：逐步指南

准备 Hadoop 安装包

Hadoop 是一个开源框架，广泛应用于大数据处理和分析。在 Windows 系统上设置 Hadoop 测试环境并不复杂，只需按照以下步骤进行操作即可：

下载并解压 Hadoop 安装包

1. 前往 Apache Hadoop 官方网站，选择适用于您系统（32 位或 64 位）的最新稳定 Hadoop 版本下载。
2. 使用 WinRAR 或 7-Zip 等归档实用程序解压下载的文件。

设置环境变量

1. 打开“控制面板” > “系统和安全” > “系统”。
2. 点击“高级系统设置” > “环境变量”。
3. 创建以下环境变量：
   • HADOOP_HOME（指向 Hadoop 解压目录的路径）
   • HADOOP_COMMON_HOME（指向 HADOOP_HOME\share\hadoop\common 的路径）
   • YARN_HOME（指向 HADOOP_HOME\share\hadoop\yarn 的路径）

配置 Hadoop

1. 在 HADOOP_HOME\etc\hadoop\hadoop-env.sh 文件中，更新 JAVA_HOME 行，指向已安装的 Java JDK 路径。
2. 在 HADOOP_HOME\etc\hadoop\core-site.xml 文件中，添加以下行，指定文件系统默认地址：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

启动 Hadoop 集群

1. 在命令提示符中导航到 Hadoop 安装目录，并运行以下命令启动 NameNode：

hdfs namenode -format
hdfs namenode

2. 在另一个命令提示符中，运行以下命令启动 DataNode：

hdfs datanode

3. 再打开一个命令提示符，运行以下命令启动 ResourceManager：

yarn resourcemanager

4. 最后，在第四个命令提示符中，运行以下命令启动 NodeManager：

yarn nodemanager

验证安装

1. 在浏览器中输入 http://localhost:50070，查看 NameNode Web UI。
2. 输入 http://localhost:8088，查看 ResourceManager Web UI。

常见问题解答

1. 为什么我在启动 NameNode 时收到“文件系统已格式化”错误？

   • NameNode 只能格式化一次。如果您看到此错误，请确保您之前没有格式化过 NameNode。

2. 为什么我的 DataNode 无法连接到 NameNode？

   • 检查 DataNode 配置文件，确保其 fs.defaultFS 值与 NameNode 配置文件中的值相同。

3. 为什么我的 ResourceManager 没有启动？

   • 确保您已安装 Java JDK 并将 JAVA_HOME 环境变量指向其安装路径。

4. 如何查看 Hadoop 集群状态？

   • 运行以下命令：

hdfs dfsadmin -report
yarn application -list

5. 如何停止 Hadoop 集群？
   • 依次运行以下命令：

yarn application -killall
yarn resourcemanager stop
hdfs datanode stop
hdfs namenode stop

恭喜您成功在 Windows 系统上设置了 Hadoop 测试环境！现在，您可以尽情探索 Hadoop 的强大功能，踏入大数据处理和分析的世界。