MySQL 数据汇总：如何合并两个数据源？

2024-09-27 02:29:47

在数据库操作中，我们常常需要整合来自不同数据源的信息。MySQL 提供了多种途径来实现这个目标，每种途径都有其独特的优势和局限性。本文将深入探讨如何使用 MySQL 查询汇总来自两个数据源的数据，并分析一些常见方法的潜在问题和对应的解决方案。

让我们从一个实际的例子开始。假设我们有两个表，t1 和 t2，它们都包含 unique_column 和 value 两列。我们的目标是将这两个表的数据汇总到 t1 中，确保 t1 中的 unique_column 值是唯一的，并且 value 列的值是两个表中对应 unique_column 的值的总和。

一种常用的方法是借助 UNION ALL 和 GROUP BY 来实现。比如：

REPLACE INTO t1
SELECT auto_id, unique_column, SUM(value) value FROM 
(
  SELECT * FROM t1
  UNION ALL 
  SELECT * FROM t2
) GROUP BY unique_column;

这段代码的逻辑是：先用 UNION ALL 将 t1 和 t2 的数据合并到一个临时表，再用 GROUP BY 对 unique_column 进行分组，并用 SUM() 函数计算每个 unique_column 对应的 value 的总和。最后，用 REPLACE INTO 将汇总后的数据插入到 t1 中。

表面上看，这种方法似乎可以解决问题。但它隐藏着一个潜在的缺陷：如果 t1 和 t2 中的 unique_column 存在重复值，GROUP BY 操作会随机选择一个 auto_id 值，这可能导致数据丢失或错误。

举个例子，假设 t2 中 unique_column 为 d3 的记录的 auto_id 为 NULL，而 t1 中 unique_column 为 d3 的记录的 auto_id 为 3，那么 GROUP BY 操作可能会选择 NULL 作为 auto_id 的值，导致 t1 中 auto_id 为 3 的记录被覆盖。

为了规避这个问题，我们可以采用 INSERT ... ON DUPLICATE KEY UPDATE 语句来实现数据汇总。例如：

INSERT INTO t1 (unique_column, value)
SELECT unique_column, SUM(value) 
FROM (
  SELECT unique_column, value FROM t1
  UNION ALL
  SELECT unique_column, value FROM t2
) AS combined_table
GROUP BY unique_column
ON DUPLICATE KEY UPDATE value = value + VALUES(value);

这段代码的思路是：先用 UNION ALL 将 t1 和 t2 的数据合并到一个名为 combined_table 的临时表，再用 GROUP BY 对 unique_column 进行分组，并用 SUM() 函数计算每个 unique_column 对应的 value 的总和。最后，用 INSERT ... ON DUPLICATE KEY UPDATE 语句将汇总后的数据插入到 t1 中。如果 t1 中已经存在相同的 unique_column，就用 UPDATE 语句更新 value 列的值。