返回

Hugging Face 大型模型下载：Git LFS 安装与配置指南

AI安装配置

在使用 Hugging Face 上的一些大型模型时，常常会遇到需要使用 Git LFS (Large File Storage) 来存储和管理大文件的问题。本文将记录如何安装和配置 Git LFS，以便能够顺利下载 Hugging Face 上的大型模型文件。

背景

很多 Hugging Face 上的模型，特别是像视频、图像和文本生成模型，都会非常大。这些文件超过了普通 Git 的存储限制，因此需要 Git LFS 来处理。这意味着，当你使用 git clone 命令克隆一个包含大文件的模型时，必须额外安装 Git LFS，才能将这些大文件正确下载。

安装 Git LFS

首先，你需要在你的系统中安装 Git LFS。下面是如何在 Linux 系统上进行安装的步骤：

  1. 添加 Git LFS 软件源：
    对于 Ubuntu 或 Debian 系统，运行以下命令：

    curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

  2. 安装 Git LFS：
    使用以下命令安装 Git LFS：

    sudo apt-get install git-lfs

  3. 初始化 Git LFS：
    安装完 Git LFS 后，运行以下命令来初始化 Git LFS：

    git lfs install

  4. 验证 Git LFS 是否安装成功：
    你可以运行以下命令来检查 Git LFS 是否正确安装：

    git lfs --version

    如果安装成功，你将看到类似于 git-lfs/3.0.0 的输出。

克隆包含 LFS 文件的模型

一旦 Git LFS 安装成功，你可以通过以下步骤克隆并下载 Hugging Face 上的模型：

  1. 克隆模型仓库：
    使用 git clone 命令来克隆包含大文件的模型仓库。例如，使用以下命令克隆一个包含视频扩散模型的 Hugging Face 仓库：

    git clone git@hf.co:stabilityai/stable-video-diffusion-img2vid-xt-1-1

    如果你已经配置了 SSH 密钥，并且拥有访问该仓库的权限，这个命令将成功执行。

  2. 下载 LFS 文件：
    克隆完成后，进入仓库目录，运行以下命令下载模型文件：

    git lfs pull

    这将下载所有的大文件，通常是模型权重文件（如 .safetensors 文件）和其他重要文件。

解决可能遇到的问题

在使用 Git LFS 时，可能会遇到以下常见问题及其解决方案：

  1. Git LFS 未安装：
    如果在运行 git lfs pull 时遇到错误提示 git: 'lfs' is not a git command，则表明 Git LFS 未正确安装。请按照前述步骤安装并初始化 Git LFS。
  2. 模型无法访问：
    如果你遇到类似于 Access denied 的错误，可能是因为你没有访问该 Hugging Face 仓库的权限。确保你使用的是正确的访问方式（如个人访问令牌或 SSH 密钥），并检查该仓库是否对你开放。
  3. 无效的 Git URL：
    如果你在 git clone 时遇到错误，确保仓库 URL 正确，并且你已经授权对该仓库的访问。如果你使用的是 HTTPS，而 GitHub 不再支持密码认证，那么需要使用访问令牌（Personal Access Token，PAT）进行认证。