解决 PIP 安装最低版本依赖问题：原因与对策

2025-01-10 10:24:40

PIP 安装依赖项时选择最低版本：原因与对策

在使用 PIP 管理 Python 项目依赖时，一个常见但令人困扰的问题是：PIP 会尝试安装依赖项的最低可能版本，即使存在满足要求的更高版本。这会带来许多问题，例如耗时长的安装过程以及可能与项目其他部分产生冲突的旧版本。本文将探讨此问题的原因，并提供有效的解决方案。

问题剖析：为何 PIP 选择最低版本

默认情况下，PIP 的行为通常是安装满足依赖项要求的前提下可用的最新版本。但是，在一些特定情况下，它可能会出乎意料地尝试安装最低版本。仔细观察安装日志和相关行为可以帮助我们定位问题所在：

依赖项之间的冲突： requirements.txt 文件中的不同依赖项可能对同一子依赖项的版本有不同的要求，而 PIP 会尝试满足所有依赖项的最低要求。
版本约束： 部分依赖可能在自己的 setup.py 或 requirements.txt 中对子依赖项的版本进行了过于严格的约束。这会导致 PIP 回溯，最终找到一个符合所有约束的最低版本。
缓存问题： 在一些情况下，本地 PIP 缓存或镜像可能会引入旧的元数据或软件包，从而导致不正确的版本选择。
--no-build-isolation 和 editable install: 当使用 --no-build-isolation 或 editable install 等高级特性时，如果设置不当可能会导致 PIP 难以追踪或分析所有必要的依赖版本信息，也可能引起此问题。

以上这些因素，常常导致 PIP 回溯选择最低版本，而不是理想的最新版本，从而使得安装时间明显加长，并且增加程序出错的可能性。

解决方案

理解了问题所在，就可以尝试以下的解决方法来改善 PIP 的依赖安装行为：

1. 明确指定版本

解决此问题的最直接的方法之一是显式指定 requirements.txt 中依赖项的版本。不要仅仅使用 package>=version，而可以使用 package==version 来严格指定要安装的特定版本，或者使用版本范围（例如，package>=1.0,<2.0 ）来允许在一个限定的范围使用。这将帮助 PIP 跳过不必要的版本尝试，直接安装指定的版本。

示例：

# requirements.txt
datasets==2.16.1
rouge-score>=0.0.4
nlpaug>=1.1.10
scikit-learn>=1.5.1
tqdm==4.66.2
matplotlib>=3.8
pandas==1.5.3
torch==2.0.1
bs4
transformers==4.30.0
nltk>=3.8
sacrebleu>=1.5.0
sentencepiece>=0.1.99
hf-lfs>=0.0.3
pytest>=4.4.1
pytreebank>=0.2.7
setuptools>=69.0.3
numpy==1.26.0
dill>=0.3.5.1
scipy>=1.9.3
flask>=2.3.2
protobuf>=4.24.4
fschat>=0.2.3
hydra-core>=1.3.2
einops
accelerate>=0.32.1
bitsandbytes
openai>=1.52.0
wget
sentence-transformers
bert-score>=0.3.13
unbabel-comet==2.2.1
nltk>=3.8
evaluate>=0.4.2
spacy>=3.6
fastchat
diskcache>=5.6.3

pip install -r requirements.txt

操作步骤:

修改requirements.txt 文件，指定软件包的特定版本或者限定版本范围。
运行 pip install -r requirements.txt， PIP 会根据指定的版本直接安装。

2. 升级 PIP

旧版本的 PIP 可能存在 Bug 或不完善的依赖管理策略，导致此类问题。将 PIP 升级到最新版本可以解决这些问题。

示例：

pip install --upgrade pip

操作步骤：

执行上述命令更新 pip.

3. 清理缓存

PIP 的缓存可能会保存过时的元数据和软件包信息，导致安装行为不符合预期。清理缓存可以帮助解决此问题。

示例：

pip cache purge

操作步骤：

运行命令 pip cache purge。此命令会清除本地缓存中所有过时的包。

4. 使用约束文件（Constraints Files）

约束文件可以用来覆盖依赖的某些部分版本范围，它可以提供全局范围的版本控制，通常和 requirements.txt文件配合使用。比如你想固定某些子依赖的版本范围而不管你 requirements.txt里是什么版本。

示例
先创建一个名为 constraints.txt 文件, 用于覆盖版本范围:

#constraints.txt
contourpy==1.3.0
transformers>=4.32.0,<4.36.0

然后在安装时应用：

pip install -r requirements.txt -c constraints.txt

操作步骤:

创建一个constraints.txt，在该文件中约束指定的版本。
运行 pip install -r requirements.txt -c constraints.txt, 将requirements.txt 中的包版本与约束版本结合。

5. 使用`pip-tools` 管理依赖

pip-tools 是一套更高级的工具，能够更有效地管理你的项目依赖，避免此问题。它允许你在requirements.in 里定义直接依赖，然后编译成确定版本的 requirements.txt 。它会在考虑所有的依赖关系后，尽可能地提供最符合条件的软件包组合。
示例

先安装pip-tools:

pip install pip-tools

创建一个requirements.in:

# requirements.in
datasets
rouge-score
nlpaug
scikit-learn
tqdm
matplotlib
pandas
torch
bs4
transformers
nltk
sacrebleu
sentencepiece
hf-lfs
pytest
pytreebank
setuptools
numpy
dill
scipy
flask
protobuf
fschat
hydra-core
einops
accelerate
bitsandbytes
openai
wget
sentence-transformers
bert-score
unbabel-comet
nltk
evaluate
spacy
fastchat
diskcache

然后运行以下命令编译 requirements.txt :