如何高效地从 JSON 对象键中插入表行？

2024-03-08 06:36:58

从 JSON 对象键中高效插入行：一步一步的指南

问题

在现代数据分析中，我们经常需要将结构化的 JSON 数据转换为关系型数据库表。但是，当 JSON 子节点代表不同的实体时，将这些节点转换为表行可能是一项艰巨的任务。

解决方案：使用存储过程

为了解决这个问题，我们可以使用存储过程来动态地解析 JSON Blob 并将每个子节点转换为新表中的行。存储过程提供了一种高效的方法来处理大量 JSON 数据，而无需编写复杂的 SQL 查询。

创建存储过程

CREATE PROCEDURE insert_from_json(IN json_blob JSON)
BEGIN
    DECLARE attrs JSON;
    DECLARE attr_keys JSON_KEY;
    DECLARE url_key JSON_KEY;
    DECLARE url JSON_VALUE;
    DECLARE content JSON_VALUE;
    DECLARE created_at BIGINT;

    SET attrs = JSON_EXTRACT(json_blob, '$.attributes');

    WHILE JSON_KEYS(attrs) IS NOT NULL DO
        SET attr_keys = JSON_KEYS(attrs);
        SET url_key = JSON_KEYS(JSON_GET(attrs, attr_keys));
        SET url = JSON_GET(attrs, JSON_ARRAY_APPEND(attr_keys, url_key));
        SET content = JSON_GET(JSON_GET(attrs, attr_keys), url_key);
        SET created_at = JSON_GET(content, 'created');

        INSERT INTO comments (_id, type, created, url, content)
        VALUES (JSON_UNQUOTE(url), attr_keys, created_at, url, content);

        SET attrs = JSON_REMOVE(attrs, attr_keys);
    END WHILE;
END

调用存储过程

一旦创建了存储过程，就可以使用 CALL 语句来调用它：

CALL insert_from_json('{"id": 1, ...}')

示例

假设我们有一个包含以下 JSON Blob 的表：

{
  "id": 1,
  "attributes": {
    "Type A": {
      "20413eba-...": {
        "created": 1707846236,
        "content": "Example!"
      },
      "f20e91185-...": {
        "created": 1708455800,
        "content": "Surprise!"
      }
    }
  }
}

调用存储过程将创建以下表：

+-----------------+------------+------------+--------------------+-------------+
|        _id      |     type   |   created  |        url         |   content   |
+-----------------+------------+------------+--------------------+-------------+
| "20413eba-..."  | "Type A"   | 1707846236 | "...20413eba-..."  | "Example!"  |
| "f20e91185..."  | "Type A"   | 1708455800 | "...f20e91185..."  | "Surprise!" |