在 Pandas DataFrame 中巧妙处理 NaN 值：全面解析与实战指南

python

2024-03-05 18:20:00

处理 Pandas DataFrame 中的 NaN 值：全面指南

引言

在数据分析中，处理缺失值（NaN）至关重要，因为它们会影响分析的准确性。Pandas DataFrame 提供了多种方法来检查和处理 NaN 值，从而使数据科学家能够有效地解决此常见问题。

检查 NaN 值

1. 使用 pd.isnull() 函数

pd.isnull() 函数返回一个布尔型 DataFrame，其中 True 表示 NaN 值，False 表示非 NaN 值。这是一种检查单个值或整个 DataFrame 中 NaN 值的简单方法。

2. 使用 df.isnull().any() 和 df.isnull().all()

df.isnull().any() 检查 DataFrame 中是否存在任何 NaN 值，返回 True 或 False。
df.isnull().all() 检查 DataFrame 中是否所有值都为 NaN，返回 True 或 False。

3. 使用 df.notnull() 函数

df.notnull() 函数返回一个布尔型 DataFrame，其中 True 表示非 NaN 值，False 表示 NaN 值。它与 pd.isnull() 函数相反，可以方便地检查非 NaN 值。

4. 使用循环

对于较小的 DataFrame，可以使用循环来检查 NaN 值。此方法比较耗时，但可以提供对每个值进行更精细的控制。

处理 NaN 值

一旦识别出 NaN 值，就有几种方法可以处理它们：

删除 NaN 值： 使用 dropna() 函数删除包含 NaN 值的行或列。
填充 NaN 值： 使用 fillna() 函数用特定值（例如均值、中位数或模式）填充 NaN 值。
插补 NaN 值： 使用 interpolate() 函数使用相邻值对 NaN 值进行插补。
忽略 NaN 值： 在某些情况下，可以忽略 NaN 值，例如在不影响分析结果的情况下。

代码示例

import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({
    "Name": ["John", "Mary", "Bob", "Alice"],
    "Age": [20, 25, 30, None]
})

# 检查 NaN 值
print(pd.isnull(df))

# 删除 NaN 值
df = df.dropna()

# 填充 NaN 值
df["Age"].fillna(df["Age"].mean(), inplace=True)

# 插补 NaN 值
df["Age"].interpolate(inplace=True)