如何解决Doris查询报错err: Error 1105: errCode = 2, detailMessage = Memory limit exceeded: ＜consuming tracker:...

2024-01-19 22:06:14

Doris 中出现“err: Error 1105: errCode = 2, detailMessage = Memory limit exceeded:”错误的修复指南

错误概述

Doris 是一款高效的可扩展分布式 MPP 数据库，但当查询需要消耗大量内存时，可能会出现“err: Error 1105: errCode = 2, detailMessage = Memory limit exceeded:”错误。此错误表明查询在执行过程中因内存不足而无法完成。

错误原因

此错误的原因可能有多种，包括：

查询使用了大量的内存，超出了系统限制。
查询使用了不合理的查询参数，导致内存使用量激增。
查询逻辑复杂，导致内存使用量增加。
系统资源不足，无法为查询分配足够的内存。

解决方法

要解决此错误，您可以尝试以下方法：

调整查询参数

某些查询参数可能会导致内存使用量增加，例如：

join_buffer_size：此参数控制用于连接操作的内存缓冲区大小。如果此参数设置过大，可能会导致内存溢出。
hash_table_size：此参数控制用于哈希表操作的内存缓冲区大小。如果此参数设置过大，可能会导致内存溢出。
max_running_jobs：此参数控制系统同时可以运行的最大作业数。如果此参数设置过大，可能会导致系统资源不足，从而引发内存溢出。

您可以通过调整这些参数来减少查询的内存使用量。

优化查询逻辑

某些查询逻辑可能会导致内存使用量增加，例如：

使用不必要的子查询。
使用不必要的临时表。
使用不必要的聚合函数。
使用不必要的排序操作。

您可以通过优化查询逻辑来减少查询的内存使用量。

合理分配内存资源

您还可以通过合理分配内存资源来避免内存溢出。您可以通过以下方法来合理分配内存资源：

使用合理的内存限制。
使用内存隔离技术。
使用内存管理工具。

代码示例

-- 调整查询参数

SET join_buffer_size = 10240;
SET hash_table_size = 10240;
SET max_running_jobs = 10;

-- 优化查询逻辑

SELECT * FROM t1
WHERE id IN (SELECT id FROM t2 WHERE name = 'foo');

-- 合理分配内存资源

ALTER SYSTEM SET mem_limit = 10240000000;  -- 设置内存限制为 10GB