Pandas 数据清洗宝典：20 个提升效率的神奇函数

人工智能

2024-01-01 21:15:28

数据清洗的利器：20个不可或缺的Pandas函数

数据科学的浩瀚世界中，数据清洗是一项必不可少的任务，为后续的数据分析和建模奠定坚实的基础。在数据操作的领域中，Pandas因其强大的数据清洗能力而备受推崇。本文将深入探索20个精心挑选的Pandas函数，旨在帮助你大幅提升数据清洗效率。

1.基本探索函数

就像一位经验丰富的侦探一样，基本探索函数可以让你快速了解数据集的概况。

head()： 让你一窥数据集的前几行，犹如阅读一本小说的前言。
tail()： 揭开数据集的结尾，就像翻阅目录。
info()： 提供数据集的总体信息，包括数据类型和缺失值数量。
describe()： 计算数据集的统计摘要，如均值、中位数和标准差。

2.缺失值处理

缺失值是数据清洗中的常见绊脚石，但Pandas提供了有效的工具来处理它们。

isnull()： 找出那些害羞的缺失值，就像寻找躲在阴影里的嫌疑人。
notnull()： 识别非缺失值，就像关注那些存在感十足的证人。
fillna()： 用指定的填充值填补缺失值，就像修复破碎的拼图。
dropna()： 删除包含缺失值的整个行或列，就像移除拼图中缺失的碎片。

3.数据类型转换

有时，数据类型会让人头疼，就像穿错尺码的鞋子。Pandas可以轻松转换它们。

astype()： 将数据类型转换为指定的类型，就像把圆形钉子变成方形钉子。
to_numeric()： 将字符串转换为数字类型，就像把文字转换成数字。
to_datetime()： 将字符串转换为日期时间类型，就像把历史记录数字化。

4.数据重塑

需要改变数据集的形状吗？Pandas可以做到。

melt()： 将数据从宽格式转换为长格式，就像把一张纸从横向翻转为纵向。
pivot()： 将数据从长格式转换为宽格式，就像把一张纸从纵向翻转为横向。
groupby()： 按指定列对数据进行分组，就像把人群分成不同的类别。
sort_values()： 按指定列对数据进行排序，就像把混乱的房间整理得井井有条。

5.数据清理

就像打扫房子一样，数据也需要清理。Pandas提供了一系列工具来处理混乱。

replace()： 替换特定值，就像把坏苹果换成好苹果。
str.replace()： 替换字符串中的特定字符或子字符串，就像用新单词替换旧单词。
str.strip()： 移除字符串前后的空白字符，就像擦去污迹。
str.lower()： 将字符串转换为小写，就像把大写的单词变成小写。
str.upper()： 将字符串转换为大写，就像把小写的单词变成大写。

6.高级函数

对于更复杂的数据清洗任务，Pandas提供了高级函数。

merge()： 合并两个或多个数据框，就像把拼图块拼在一起。
join()： 基于特定列连接数据框，就像把两个不同的故事连成一个。
concat()： 按行或列合并数据框，就像把两本书装订在一起。
set_index()： 将指定的列设置为主键，就像把书本的章节编号。
reset_index()： 将主键重置为索引，就像把章节编号恢复为普通数字。

示例代码

假设我们有一个包含缺失值和不同数据类型的messy_df数据框。以下是如何使用Pandas函数清洗数据：

import pandas as pd

# 探索数据
df.head()
df.info()
df.describe()

# 处理缺失值
df.fillna(0)  # 用 0 填充缺失值

# 转换数据类型
df['age'] = df['age'].astype(int)  # 将 age 列转换为整数

# 重塑数据
df_melted = df.melt(id_vars=['name'])  # 将数据转换为长格式

# 清理数据
df['name'] = df['name'].str.strip()  # 移除 name 列中的空白字符
df['email'] = df['email'].str.lower()  # 将 email 列转换为小写