大文件上传从未如此简单：并行上传、并发数控制和断点续传

前端

2023-03-10 22:41:07

大文件上传的痛点与优化技术

大文件上传的痛点

在大数据时代，我们经常需要上传和传输大文件，例如视频、图片和音频。然而，传统的文件上传方式往往面临以下痛点：

上传速度慢： 单个大文件的上传速度往往较慢，特别是对于宽带资源有限的用户来说。
易中断： 上传过程中，如果网络连接不稳定或中断，可能导致上传失败，需要重新上传，浪费时间和资源。
资源占用多： 传统的文件上传方式通常会占用大量的系统资源，影响其他程序的运行。

并行上传：提速利器

为了解决这些痛点，并行上传技术应运而生。并行上传是指将一个大文件拆分成多个小块，然后同时上传这些小块，从而大幅提高上传速度。

并行上传技术的实现需要借助多线程或多进程技术，以及高效的文件分块算法。目前，主流的浏览器都支持并行上传，因此可以轻松实现该功能。

代码示例：

import concurrent.futures
import os
import requests

def upload_chunk(chunk, url):
    """上传一个文件块"""
    response = requests.post(url, data=chunk)
    return response.status_code

def upload_file_parallel(file_path, url, chunk_size=1024):
    """并行上传一个文件"""
    with open(file_path, "rb") as f:
        # 将文件分块
        chunks = [f.read(chunk_size) for _ in range(os.path.getsize(file_path) // chunk_size + 1)]

    # 创建线程池
    with concurrent.futures.ThreadPoolExecutor() as executor:
        # 并发上传文件块
        futures = [executor.submit(upload_chunk, chunk, url) for chunk in chunks]

    # 等待所有文件块上传完成
    results = [future.result() for future in futures]

    # 检查是否所有文件块都上传成功
    if all(result == 200 for result in results):
        print("文件上传成功")
    else:
        print("文件上传失败")

并发数控制：合理利用资源

并发数是指同时上传文件的数量。并发数过多可能会导致服务器负载过高，影响其他用户的上传速度。因此，需要对并发数进行合理的控制。

并发数控制可以通过以下方式实现：

服务器端控制： 服务器端可以设置最大并发数，当并发数超过最大值时，拒绝新的上传请求。
客户端控制： 客户端也可以设置最大并发数，当并发数超过最大值时，暂停新的上传任务。

代码示例：

# 设置最大并发数
max_concurrency = 5

# 创建一个并发控制锁
lock = concurrent.futures.Semaphore(max_concurrency)

def upload_file_with_concurrency(file_path, url, chunk_size=1024):
    """带并发控制的文件上传"""
    with open(file_path, "rb") as f:
        # 将文件分块
        chunks = [f.read(chunk_size) for _ in range(os.path.getsize(file_path) // chunk_size + 1)]

    # 逐个上传文件块，并控制并发数
    for chunk in chunks:
        with lock:
            response = requests.post(url, data=chunk)

    # 检查是否所有文件块都上传成功
    if all(response.status_code == 200 for response in responses):
        print("文件上传成功")
    else:
        print("文件上传失败")

断点续传：无惧网络中断

断点续传是指在网络中断后，可以从中断点继续上传文件，而无需重新上传整个文件。

断点续传技术的实现需要借助文件分块算法和服务器端的文件存储策略。目前，主流的文件上传组件都支持断点续传功能，因此可以轻松实现该功能。

代码示例：

import requests

def upload_file_with_resumable(file_path, url):
    """支持断点续传的文件上传"""
    with open(file_path, "rb") as f:
        # 将文件分块
        chunks = [f.read(1024) for _ in range(os.path.getsize(file_path) // 1024 + 1)]

    # 逐个上传文件块，并处理断点续传
    for chunk in chunks:
        response = requests.post(url, data=chunk)

        # 如果断点续传成功，则返回 206 状态码
        if response.status_code == 206:
            print("断点续传成功")
        # 如果断点续传失败，则需要重新上传整个文件
        elif response.status_code == 400:
            print("断点续传失败，重新上传")
            upload_file_without_resumable(file_path, url)
        # 其他状态码处理

# 非断点续传的文件上传
def upload_file_without_resumable(file_path, url):
    """不支持断点续传的文件上传"""
    with open(file_path, "rb") as f:
        response = requests.post(url, data=f.read())

    if response.status_code == 200:
        print("文件上传成功")
    else:
        print("文件上传失败")