和pandas说再见！解决读取CSV、TSV文件出错的终极指南

后端

2023-10-21 19:16:53

破解 pandas 读取 CSV/TSV 文件时出现的“Expected 1 fields in line...”错误

在使用 pandas 读取 CSV 或 TSV 文件时，你可能会遇到这样一个错误信息：“ParserError: Error tokenizing data. C error: Expected 1 fields in line...”

这可不是什么好兆头，但别担心，这个错误很常见，而且解决起来并不难。让我们深入探讨一下解决方案，让你告别烦恼，高效处理数据！

幕后探究

此错误的根源可能是多种多样的，但通常归结为以下几点：

文件格式错误
文件编码问题
文件内容不规范
文件列数与预期不符

庖丁解牛

解决此错误的方法因具体情况而异，但这里有几个行之有效的技巧：

1. 审视文件格式

CSV 和 TSV 文件虽然结构简单，但还是略有差异。CSV 使用逗号作为分隔符，而 TSV 使用制表符。确保文件格式与读取函数的设置相匹配。

2. 检查文件编码

文件编码也会影响读取过程。如果文件不是 UTF-8 编码，请使用 read_csv() 或 read_tsv() 函数指定正确的编码。

df = pd.read_csv('file.csv', encoding='utf-8')

3. 审视文件内容

文件内容本身可能也会引发问题。空行、格式不一致或数据不完整都会导致错误。使用 dropna() 函数删除空行，并确保数据符合预期格式。

df = df.dropna()

4. 增加文件列数

如果文件中的列数与预期不一致，也会导致此错误。使用 header 参数指定文件中的列数。

df = pd.read_csv('file.csv', header=None)

5. 另辟蹊径

如果上述方法都未能解决问题，不妨尝试其他库，如 NumPy 的 loadtxt() 函数或 SciPy 的 genfromtxt() 函数，来读取 CSV/TSV 文件。

落地实践

以下是使用 pandas 读取 CSV/TSV 文件的代码示例：

import pandas as pd

# 读取 CSV 文件
df = pd.read_csv('file.csv')

# 读取 TSV 文件
df = pd.read_csv('file.tsv', sep='\t')

# 指定文件编码
df = pd.read_csv('file.csv', encoding='utf-8')

# 删除空行
df = df.dropna()

# 指定列数
df = pd.read_csv('file.csv', header=None)