M1/M2 Mac：Hadoop 安装教程

在 Mac M1 或 M2 芯片上安装和配置 Hadoop 的终极指南

准备工作

迈出激动人心的 Hadoop 之旅的第一步，需要对您的 Mac 做一些准备：

• 确保充足的空间： 您的 Mac 需要至少 16GB 的内存和 256GB 的存储空间才能轻松容纳 Hadoop。
• 安装 Java： 下载并安装 Java 1.8 或更高版本，这是 Hadoop 的基石。
• 获取 Hadoop 二进制文件： 从官方 Hadoop 网站下载二进制文件并将其解压到您的计算机。
• 设置环境变量： 确保 Hadoop 二进制文件的路径被添加到您的环境变量中，以便您的系统可以找到它。

安装 Java

brew install java11

配置环境变量

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-11.0.1.jdk/Contents/Home
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

启动 Hadoop 服务

让 Hadoop 栩栩如生！使用以下命令：

start-dfs.sh
start-yarn.sh

要检查 Hadoop 是否正在正常运行，请使用 jps 命令。您应该看到以下进程：

10790 NameNode
10791 ResourceManager
10792 NodeManager
10793 SecondaryNameNode

Hadoop 集群配置

为了让 Hadoop 集群顺利运行，我们需要进行一些配置：

• 编辑 core-site.xml

vim core-site.xml

在 <configuration> 标签下，用以下内容替换 <property> 标签：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

• 编辑 hdfs-site.xml

vim hdfs-site.xml

在 <configuration> 标签下，用以下内容替换 <property> 标签：

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

• 编辑 yarn-site.xml

vim yarn-site.xml

在 <configuration> 标签下，用以下内容替换 <property> 标签：

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>localhost</value>
</property>

• 重启 Hadoop 服务

stop-dfs.sh
stop-yarn.sh
start-dfs.sh
start-yarn.sh

恭喜！配置和启动已完成，您现在可以在 Mac M1 或 M2 芯片上使用 Hadoop 了。

常见问题解答

• 如何检查 Hadoop 是否正在运行？

jps 命令会显示正在运行的 Hadoop 进程。

• 我无法启动 Hadoop，该怎么办？

检查日志文件以识别错误，并确保环境变量已正确配置。

• 如何增加 Hadoop 的副本因子？

编辑 hdfs-site.xml 文件，将 dfs.replication 的值更改为所需的副本数。

• 如何访问 Hadoop 分布式文件系统 (HDFS)？

使用 HDFS 命令行工具，例如 hdfs dfs -ls 来列出文件。

• Hadoop 有哪些其他用途？

Hadoop 可用于各种数据密集型任务，包括大数据分析、机器学习和数据仓库。

准备好踏上 Hadoop 之旅，探索其处理和分析海量数据的强大功能吧！