NIFI实现JSON转SQL并插入到数据库表中

2023-01-10 02:38:07

使用 NIFI 将 JSON 数据转换为 SQL 并插入数据库表

摘要

NIFI 是一个强大的开源数据处理平台，可简化各种数据处理任务。在这篇博客中，我们将深入了解如何使用 NIFI 将 JSON 数据转换为 SQL 并将其插入数据库表中。

剖析 JSON 数据

第一步是使用 JSONReader 组件解析 JSON 数据。该组件使用 JSON 路径表达式来指定要提取的数据。例如，对于以下 JSON 数据：

{
  "name": "John Doe",
  "age": 30,
  "address": "123 Main Street"
}

可以将 JSON 路径表达式设置为：

$.name 提取名称
$.age 提取年龄
$.address 提取地址

将 NIFI 属性转换为 SQL

接下来，我们使用 SQLExecute 组件将 NIFI 属性转换为 SQL 语句。该组件通过数据库连接池服务连接到数据库，并执行指定语句。

假设我们想将 JSON 数据插入名为 customers 的数据库表中，我们可以使用以下 SQL 语句：

INSERT INTO customers (name, age, address) VALUES (?, ?, ?)

查询数据库表

一旦 SQL 语句执行完毕，我们就可以使用 QueryDatabaseTable 组件查询数据库表并检索数据。该组件使用相同的数据库连接池服务连接到数据库，并执行指定的 SQL 查询。

例如，要查询 customers 表中的所有数据，我们可以使用以下 SQL 查询：

SELECT * FROM customers

连接组件

接下来，我们需要将这些组件连接起来。将 JSONReader 组件的输出端口连接到 SQLExecute 组件的输入端口，并将 SQLExecute 组件的输出端口连接到 QueryDatabaseTable 组件的输入端口。

运行 NIFI 流

连接组件后，我们可以通过单击工具栏上的运行按钮来运行 NIFI 流。

查看结果

NIFI 流运行完成后，我们可以查看 QueryDatabaseTable 组件输出端口上的数据。这将显示从数据库表中检索的数据。

代码示例

以下代码示例演示了如何使用 NIFI 流实现 JSON 到 SQL 的转换和数据库插入：

JSON 数据：
{
  "name": "John Doe",
  "age": 30,
  "address": "123 Main Street"
}

NIFI 流：

1. 创建新的 NIFI 流
2. 添加 JSONReader 组件
3. 配置 JSONReader 组件（JSON 路径表达式：$.name、$.age、$.address）
4. 添加 SQLExecute 组件
5. 配置 SQLExecute 组件（数据库连接池服务：my_db_pool、SQL 语句：INSERT INTO customers (name, age, address) VALUES (?, ?, ?））
6. 添加 QueryDatabaseTable 组件
7. 配置 QueryDatabaseTable 组件（数据库连接池服务：my_db_pool、SQL 查询：SELECT * FROM customers）
8. 连接组件
9. 运行 NIFI 流
10. 查看结果

结果：

在 customers 表中插入一条新记录：
* name = John Doe
* age = 30
* address = 123 Main Street