Python 读取大文件技巧大公开：read()、readline() 和 readlines() 揭秘

2023-12-16 17:52:38

在 Python 中，文件操作是经常会遇到的任务。Python 提供了多种方法来读取文件内容，其中包括 read(), readline() 和 readlines() 三个常用的函数。本文将深入探讨这三个函数的使用技巧和性能表现，帮助您在处理大文件时游刃有余。同时，还将介绍一些优化文件读取的实用建议，让您的代码更加高效、健壮。

1. `read()` 函数

read() 函数用于读取整个文件的内容，并将其作为字符串返回。如果文件很小，这种方法非常方便。但是，如果您要处理大文件，则可能导致内存问题。

with open('large_file.txt', 'r') as f:
    data = f.read()

在上面的示例中，data 变量将包含整个文件的内容。但是，如果您尝试使用 read() 函数读取一个非常大的文件，则可能会遇到 MemoryError 异常。

2. `readline()` 函数

readline() 函数用于读取文件的一行内容，并将其作为字符串返回。如果文件很大，这种方法可以更有效地利用内存。

with open('large_file.txt', 'r') as f:
    while True:
        line = f.readline()
        if not line:
            break
        # 对每行数据进行处理

在上面的示例中，while 循环将继续读取文件，直到到达文件末尾。每次迭代，line 变量都会包含文件的一行内容。

3. `readlines()` 函数

readlines() 函数用于将整个文件的内容读取到一个列表中。如果文件很大，这种方法可以更有效地利用内存，因为不需要将整个文件加载到内存中。

with open('large_file.txt', 'r') as f:
    lines = f.readlines()

在上面的示例中，lines 变量将包含一个列表，其中包含文件中的所有行。

4. 性能比较

在处理大文件时，read()、readline() 和 readlines() 函数的性能表现可能会有所不同。一般来说，readline() 函数的性能最好，因为不需要将整个文件加载到内存中。readlines() 函数的性能次之，因为需要将整个文件加载到内存中，但可以避免反复调用 readline() 函数。read() 函数的性能最差，因为它需要将整个文件加载到内存中，而且每次读取都必须重新定位文件指针。