Hadoop从小白到大神：掌握Ubuntu系统安装指南

2022-11-11 15:09:36

在 Ubuntu 系统上安装 Hadoop 的完整指南

在处理和存储海量数据方面，Hadoop 堪称业界最炙手可热的平台。如果您打算在 Ubuntu 系统上部署 Hadoop，我们为您准备了这份全面指南。本文将逐步带您完成 Hadoop 用户的创建、密码设置、管理员权限授予以及 Hadoop 软件的安装过程。

首先，我们需要创建一位 Hadoop 用户，作为您用于安装和管理 Hadoop 的专用帐户。在终端中执行以下命令：

sudo adduser hadoop

系统将提示您输入密码，请确保密码强度足够。

接下来，为 Hadoop 用户设置密码：

sudo passwd hadoop

系统会要求您输入密码两次，确保两次输入完全一致。

Hadoop 用户需要拥有管理员权限，才能执行安装软件和管理集群等管理任务。授予权限的命令如下：

sudo usermod -aG sudo hadoop

现在可以安装 Hadoop 软件了：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

tar -xzvf hadoop-3.3.4.tar.gz

这一系列操作将在您的计算机上创建一个名为“hadoop-3.3.4”的目录。

安装完成后，我们需要对 Hadoop 进行配置。编辑“hadoop-env.sh”文件，通常位于“hadoop-3.3.4/etc/hadoop”目录中。

将文件中的以下行：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

替换为：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

配置完成后，就可以启动 Hadoop 了：

start-dfs.sh

启动 Hadoop 文件系统 (HDFS)

start-yarn.sh

启动 Hadoop YARN 资源管理器

验证 Hadoop 是否安装成功：

hdfs dfs -ls /

您应该会看到以下输出：

Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2023-08-18 13:38 /user/hadoop

为什么无法启动 Hadoop？
- 请检查 Hadoop 软件是否正确安装，并且“hadoop-env.sh”文件已正确配置。
如何将数据加载到 HDFS？
- 使用“hdfs dfs -put”命令将文件从本地系统加载到 HDFS。
如何配置 Hadoop 集群？
- 在“hadoop-3.3.4/etc/hadoop”目录中编辑“core-site.xml”和“hdfs-site.xml”文件。
如何使用 MapReduce 处理数据？
- 在“hadoop-3.3.4/share/hadoop/mapreduce”目录中编写和编译 MapReduce 作业，然后使用“hadoop jar”命令执行作业。
如何配置 Hadoop 安全？
- 在“hadoop-3.3.4/etc/hadoop”目录中编辑“hadoop-policy.xml”文件并启用 Kerberos 认证。