Polars字符串长度陷阱：字符数还是字节数？

Polars 库：处理中文字符串的隐藏陷阱

在数据分析的浩瀚领域中，Polars 脱颖而出，成为一个广受赞誉的 Python 数据处理库。它以闪电般的速度和广泛的功能而著称，让数据处理任务变得轻而易举。然而，正如任何工具一样，Polars 也有其微妙的陷阱，特别是在处理中文字符串时。

str.lengths：字节数还是字符数？

Polars 提供了一个方便的 str.lengths 函数，它看似可以返回字符串的长度。但令人惊讶的是，对于中文字符串，这个函数会返回字节数，而不是我们通常期望的字符数。

这是因为中文字符在计算机中是以多字节序列存储的，每个字符占用两个或更多的字节。然而，str.lengths 函数没有考虑这一点，而是简单地计算了字符串中所有字符的字节数。

揭示字节数与字符数的差异

为了更清楚地说明这个问题，让我们看一个示例：

import polars as pl

df = pl.DataFrame({"中文字符串": ["你好", "世界"]})

df["字节数"] = df["中文字符串"].str.lengths

df["字符数"] = df["中文字符串"].str.chars.count()

print(df)

结果显示：

中文字符串	字节数	字符数
你好	6	2
世界	6	2

正如我们所见，字节数和字符数对于中文字符串不匹配。这是因为 "你好" 和 "世界" 都由两个中文字符组成，每个字符占用 3 个字节，因此字节数为 6。但是，字符数只有 2，因为每个中文字符被视为一个字符。

寻找替代方案：str.chars

为了正确计算中文字符串的字符数，我们可以求助于 Polars 中的另一个函数：str.chars。该函数将字符串转换为字符迭代器。然后，我们可以使用 len 函数计算迭代器的长度，得到字符串的字符数：

import polars as pl

df = pl.DataFrame({"中文字符串": ["你好", "世界"]})

df["字符数"] = df["中文字符串"].str.chars.len()

print(df)

结果为：

中文字符串	字符数
你好	2
世界	2

结论：警惕字符串长度的陷阱

使用 Polars 处理中文字符串时，牢记 str.lengths 函数返回的是字节数，这一点至关重要。通过利用 str.chars 函数，我们可以准确地计算字符数，确保在数据分析和处理中获得可靠的结果。

常见问题解答

1. 为什么 str.lengths 函数返回字节数而不是字符数？

这是由于中文字符在计算机中以多字节序列存储，而 str.lengths 函数在计算长度时未考虑这一点。

2. 使用 str.chars 函数有哪些好处？

str.chars 函数可将字符串转换为字符迭代器，允许我们准确计算字符数，包括中文字符。

3. 如何在 Pandas 中处理中文字符串？

在 Pandas 中，可以使用 .str.len() 函数计算字符串的字符数，包括中文字符。

4. 除了字节数和字符数，还有其他影响字符串长度的因素吗？

Unicode 编码也会影响字符串长度，因为不同的字符可能需要不同的字节数进行编码。

5. 在处理非中文字符串时是否需要考虑 str.lengths 函数的陷阱？

对于非中文字符串，str.lengths 函数仍然返回字节数，但通常与字符数一致。