Sqoop从MySQL数据库中采集数据的便捷教程

2023-04-30 06:23:18

Sqoop：连接关系型数据库和 Hadoop 的强大工具

引言

在工业大数据领域，数据采集是至关重要的任务。Sqoop，Apache 软件基金会旗下的开源项目，提供了从关系型数据库（如 MySQL、Oracle）中提取数据到 Hadoop 分布式文件系统 (HDFS) 的便利途径。本文将深入探索 Sqoop 的用法，指导您轻松上手。

步骤 1：安装 Sqoop

前往 Apache 软件基金会网站下载并安装 Sqoop 的最新版本。

步骤 2：配置 Sqoop

创建 Sqoop 配置文件（sqoop-site.xml），并设置以下参数：

sqoop.home：Sqoop 安装目录
hadoop.mapred.home：Hadoop 安装目录
hbase.home：HBase 安装目录
zookeeper.connect：ZooKeeper 连接地址

步骤 3：连接 MySQL 数据库

sqoop list-databases --connect jdbc:mysql://localhost:3306/mydb --username myusername --password mypassword

步骤 4：导入数据

sqoop import --connect jdbc:mysql://localhost:3306/mydb --username myusername --password mypassword --table mytable --target-dir /user/myusername/mytable

此命令将从 MySQL 数据库中的 mytable 表中导入数据到 HDFS 中的 /user/myusername/mytable 目录中。

步骤 5：查看导入的数据

hadoop fs -ls /user/myusername/mytable

使用代码示例

以下代码示例展示了如何使用 Sqoop 从 MySQL 数据库中提取数据到 HDFS 中：

# 创建 Sqoop 配置文件
vim /etc/sqoop/sqoop-site.xml

# 添加以下配置
<configuration>
  <property>
    <name>sqoop.home</name>
    <value>/usr/local/sqoop</value>
  </property>
  <property>
    <name>hadoop.mapred.home</name>
    <value>/usr/local/hadoop</value>
  </property>
  <property>
    <name>hbase.home</name>
    <value>/usr/local/hbase</value>
  </property>
  <property>
    <name>zookeeper.connect</name>
    <value>localhost:2181</value>
  </property>
</configuration>

# 连接 MySQL 数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306/mydb --username myusername --password mypassword

# 导入数据到 HDFS
sqoop import --connect jdbc:mysql://localhost:3306/mydb --username myusername --password mypassword --table mytable --target-dir /user/myusername/mytable

# 查看导入的数据
hadoop fs -ls /user/myusername/mytable