Pandas高阶选取：如何从 DataFrame 中提取满足复杂条件的数据？

Pandas 高级选择：根据复杂条件从 DataFrame 中提取数据

在数据分析中，我们经常需要从大型 DataFrame 中提取满足特定条件的数据子集。Pandas 提供了一系列强大的方法来实现这一目标，包括布尔索引、query() 和 loc()。本文将深入探讨这些方法，指导您掌握 Pandas 中高级选择技巧。

布尔索引：灵活的选择

布尔索引允许您使用布尔掩码来选择符合特定条件的行。您可以逐列创建掩码，然后使用逻辑运算符 (& 和 |) 将它们组合起来。

b_mask = df['B'] > 50
c_mask = df['C'] != 900
result = df[(b_mask) & (c_mask)]

query()：简洁的表达式

query() 方法提供了一种简洁的方式来表达复杂的条件。您可以使用字符串表达式，其中包含条件和逻辑运算符。

result = df.query("B > 50 and C != 900")

loc()：基于标签的选择

loc() 方法允许您使用行和列标签来选择 DataFrame 中的特定数据。您可以提供一个布尔掩码作为行标签，以选择满足条件的行。

result = df.loc[(df['B'] > 50) & (df['C'] != 900)]

选择最佳方法

选择最适合您的任务的方法取决于数据和查询的复杂性。一般来说：

• 布尔索引： 适用于需要对多列进行复杂逻辑运算的情况。
• query()： 适用于需要使用简洁字符串表达式的简单或复杂的条件。
• loc()： 适用于基于标签进行选择，尤其是在您需要根据索引位置选择行时。

示例：从 DataFrame 中选择满足条件的值

假设我们有一个 DataFrame，其中包含三个列：'A'、'B' 和 'C'。我们要选择满足以下条件的值：

• 'A' 列中的值
• 对应 'B' 列中的值大于 50
• 对应 'C' 列中的值不等于 900

输出：

使用这三种方法，我们都会得到相同的结果：

   A   B   C
0  2  60  700
1  1  70  800
2  5  80  400
3  3  60  100
5  4  70  300
6  6  60  200
9  7  70  500

结论

掌握 Pandas 中的复杂选择技巧将极大地增强您的数据处理能力。通过理解布尔索引、query() 和 loc() 的功能，您可以从大型 DataFrame 中高效而精确地提取所需的信息。

常见问题解答

1. 如何选择满足多个条件的行？
您可以使用 & 或 | 运算符将多个条件组合起来。

2. 如何选择基于索引位置的行？
您可以使用 loc() 方法并指定索引位置，例如 df.loc[0:5]。

3. 如何选择基于列标签的列？
您可以使用 loc() 方法并指定列标签，例如 df.loc[:, ['A', 'B']]。

4. 如何过滤出重复的值？
您可以使用 drop_duplicates() 方法。

5. 如何选择满足正则表达式条件的值？
您可以使用 str.contains() 方法来检查值是否与正则表达式匹配。