解决 Qwen 导入 Safetensors 时出现的“HeaderTooLarge”错误：终极指南

2024-03-08 12:45:56

大型语言模型 Qwen 导入 Safetensors 时出现“HeaderTooLarge”错误：全面指南

简介

Safetensors 是一个强大的机器学习框架，为处理大型语言模型提供了高效和安全的解决方案。然而，在导入像 Qwen 这样的大型语言模型时，可能会遇到“HeaderTooLarge”错误。本文将深入探讨这个问题的潜在原因，并提供分步指南来有效解决它。

原因

“HeaderTooLarge”错误通常是由 Safetensors 档案中过大的标头引起的。这可能是由于几个因素，包括使用旧版本的 Safetensors、档案大小过大或进程内存限制不足。

解决方案

1. 检查 Safetensors 版本

确保您使用的是最新版本的 Safetensors。旧版本可能无法处理大型标头。

2. 检查档案大小

确保 Safetensors 档案大小小于 4 GB。大型档案可能无法加载到内存中。

3. 增加内存限制

在加载 Safetensors 档案之前，请增加进程的内存限制。可以使用以下环境变量来实现：

export PYTHONUNBUFFERED=True
export CUDA_LAUNCH_BLOCKING=1

4. 使用流式 API

Safetensors 提供了流式 API 来加载档案，该 API 可以减少内存使用量。尝试使用以下代码：

with st.open("checkpoint.safetensors", mode="rb") as f:
    # Load the metadata
    metadata = f.metadata()

    # Check the format
    if metadata["format"] != "pt":
        raise NotImplementedError(
            f"Conversion from a {metadata['format']} safetensors archive to PyTorch is not implemented yet."
        )

    # Load the model weights using the streaming API
    model_weights = st.load(f, "pt")

其他建议

尝试使用较小的批次大小加载模型。
确保有足够的 GPU 内存来加载模型。
如果所有方法都失败，请联系 Safetensors 开发人员寻求帮助。

结论

通过遵循本文中概述的步骤，您可以有效解决 Safetensors 中“HeaderTooLarge”错误，并成功导入大型语言模型 Qwen。记住，更新软件、管理内存并利用流式 API 可以帮助您克服此类挑战。

常见问题解答

为什么会出现“HeaderTooLarge”错误？

此错误通常是由 Safetensors 档案中过大的标头引起的。

如何增加进程的内存限制？

可以使用以下环境变量来增加进程的内存限制：

export PYTHONUNBUFFERED=True
export CUDA_LAUNCH_BLOCKING=1

如何使用流式 API 加载模型？

with st.open("checkpoint.safetensors", mode="rb") as f:
    # Load the metadata
    metadata = f.metadata()

    # Check the format
    if metadata["format"] != "pt":
        raise NotImplementedError(
            f"Conversion from a {metadata['format']} safetensors archive to PyTorch is not implemented yet."
        )

    # Load the model weights using the streaming API
    model_weights = st.load(f, "pt")