条件求和：如何高效地对 NumPy 数组进行求和？

## 基于条件对 NumPy 数组进行高效求和

简介

在数据科学和机器学习中，经常需要对大型数据集进行分组和求和。NumPy 提供了一系列强大的功能，可以轻松高效地完成这项任务。本文将深入探讨基于索引和基于值的条件对 NumPy 数组进行求和的方法。

基于索引的求和

最直接的方法是使用基于索引的求和。这涉及将数组划分为块，并逐块求和。以下是使用此方法的一个示例：

import numpy as np

x = np.arange(100)
y = np.arange(100)
X, Y = np.meshgrid(x, y)
Z = np.cos(X) * np.sin(Y)

Z_new = np.zeros((5, 5))
for i in range(5):
    for j in range(5):
        Z_new[i, j] = np.sum(Z[i * 20:20 + i * 20, j * 20:20 + j * 20])

此代码将 Z 数组划分为 5x5 块，并计算每个块中值的总和。

基于值的求和

有时，我们可能需要基于特定值而不是索引对数组求和。这可以通过使用 NumPy 的 where 函数来实现。以下是一个示例：

import numpy as np

x = np.linspace(0, 1, 100)
y = np.linspace(0, 1, 100)
X, Y = np.meshgrid(x, y)
Z = np.cos(X) * np.sin(Y)

x_new = np.linspace(0, 1, 15)
y_new = np.linspace(0, 1, 15)

Z_new = np.zeros((15, 15))
for i in range(15):
    mask = np.logical_and(X >= x_new[i], X < x_new[i + 1])
    Z_new[i, :] = np.sum(Z[mask], axis=0)

此代码创建了一个新的网格数组 x_new，并使用 where 函数创建了一个掩码，用于选择基于 X 的值。然后，它对掩码下的值求和，并将结果存储在 Z_new 数组中。

优势和局限性

优势：

• NumPy 的 sum 函数针对数组计算进行了高度优化，使其非常高效。
• 基于索引的求和对于分块数据或需要更精细控制分组的场景非常有用。
• 基于值的求和提供了基于任何条件灵活分组的能力。

局限性：

• 在非常大的数据集上，基于索引的求和可能会很慢，因为需要遍历整个数组。
• 基于值的求和可能比基于索引的求和慢，因为它需要创建和操作掩码数组。

最佳实践

• 对于大型数据集，考虑使用 NumPy 的 cumsum 或 bincount 函数，这些函数可以提供更快的求和选项。
• 优化掩码创建，以避免不必要的计算。
• 根据数据集大小和性能要求选择合适的求和方法。

总结

NumPy 提供了多种方法对数组进行分组和求和，使数据科学家和机器学习工程师能够有效处理大型数据集。通过了解基于索引和基于值的求和方法，你可以根据特定需求选择最佳方法。

常见问题解答

1. 何时使用基于索引的求和？

   • 当需要更精细地控制分组时，例如分块数据。

2. 何时使用基于值的求和？

   • 当需要基于任何条件灵活分组时。

3. 哪种求和方法更有效率？

   • 基于索引的求和通常更有效率，除非数据集非常大。

4. 如何优化掩码创建？

   • 使用广播运算或矢量化函数来创建掩码。

5. 为什么在大型数据集上基于索引的求和会很慢？

   • 因为需要遍历整个数组。