Pandas DataFrame 遍历的奥秘：高效处理大型数据集

Pandas 中高效遍历 DataFrame 的艺术

作为一名经验丰富的程序员，我常常面临处理大型数据集的挑战。Pandas 以其强大且灵活的数据分析工具而闻名，其中遍历 DataFrame 的能力至关重要。

为何高效遍历 DataFrame 很重要？

当处理大型数据集时，高效地遍历 DataFrame 可以节省大量时间和计算资源。想象一下，如果你需要遍历百万行数据并执行某些操作，效率低下可能会导致漫长而耗时的过程。

遍历 DataFrame 的两种方法

在 Pandas 中，有两种常见的方法可以遍历 DataFrame 的行：

1. iterrows() 方法

iterrows() 方法返回一个迭代器，它遍历 DataFrame 中的行，并将其表示为包含索引和 Series 对象的元组。Series 对象包含该行的所有值，可以按列名访问。

import pandas as pd

df = pd.DataFrame({'c1': [10, 11, 12], 'c2': [100, 110, 120]})

for index, row in df.iterrows():
    print(index, row['c1'], row['c2'])

输出：

0 10 100
1 11 110
2 12 120

index 变量包含行的索引，而 row 变量包含该行的 Series 对象。你可以使用 row['列名'] 访问该行的特定值。

2. itertuples() 方法

itertuples() 方法返回一个迭代器，它遍历 DataFrame 中的行，并将其表示为 namedtuple 对象。namedtuple 对象类似于元组，但它们有附加的属性，可以按名称访问列值。

for row in df.itertuples():
    print(row.Index, row.c1, row.c2)

输出：

Index  c1  c2
0      10  100
1      11  110
2      12  120

row.Index 属性包含行的索引，而 row.c1 和 row.c2 属性包含该行的值。

选择合适的方法

iterrows() 和 itertuples() 方法在遍历 Pandas DataFrame 时都很有用。iterrows() 返回一个 Series 对象，而 itertuples() 返回一个 namedtuple 对象。选择哪种方法取决于你的具体需求。

一般来说，如果你需要按列名访问行值，可以使用 iterrows() 方法。如果你需要以更面向对象的的方式访问行值，则可以使用 itertuples() 方法。

常见问题解答

1. 我应该使用哪种遍历方法？

最佳方法取决于你的特定需求。请参阅本文中的选择合适的方法部分。

2. 我可以修改遍历的行吗？

否，iterrows() 和 itertuples() 方法仅提供只读视图。要修改行，你需要使用 DataFrame.loc[] 或 DataFrame.iloc[] 方法。

3. 如何在遍历时跳过特定行？

可以使用 continue 语句跳过特定行。例如：

for row in df.iterrows():
    if row['c1'] < 12:
        continue
    # 其余代码

4. 如何在遍历时执行某些操作？

可以在循环中执行任何所需的操作。例如：

for row in df.itertuples():
    print(row.Index, row.c1 + row.c2)

5. 我可以并行遍历 DataFrame 吗？

使用 apply() 或 map() 方法可以并行遍历 DataFrame。例如：

df['new_col'] = df.apply(lambda row: row['c1'] + row['c2'], axis=1)

结论

遍历 Pandas DataFrame 是数据分析中的一项基本任务。通过理解 iterrows() 和 itertuples() 方法之间的差异，你可以选择最适合你需求的方法，从而高效地处理大型数据集。