超算平台Python库升级受限？教你构建个人conda环境！

2024-07-07 18:16:09

超算平台Python库升级难题：如何解决权限限制？

在超级计算机上运行Python代码，你是否曾被突如其来的错误信息打乱阵脚？"autosklearn.util.dependencies.IncorrectPackageVersionError: found 'dask' version 2021.11.2 but requires dask version >=2021.12" 就是一个常见的例子。这类错误通常意味着你需要升级某个Python库，就像例子中提到的dask。

你或许认为，升级一个库而已，有什么难的？然而，超级计算机的环境往往权限森严，直接使用conda或pip升级库，迎接你的很可能是令人沮丧的"权限不足"报错。那么，在不具备管理员权限的情况下，如何才能顺利升级Python库并运行你的代码呢？

本文将以Tinaroo超算平台为例，为你提供一种解决方案：构建个人conda环境 。通过创建和使用独立的conda环境，你可以安装和管理特定版本的Python库，避免与系统默认环境产生冲突，从而解决库版本不兼容的问题。

构建你的Python避风港：个人conda环境

1. conda：集结！

首先，登录Tinaroo超算平台，确保你已经加载了anaconda模块，这好比是召唤你的编程利器。

module load anaconda

2. 打造专属环境

现在，让我们创建一个名为"myenv"的conda环境，你可以把它想象成一个独立的Python工作空间。

conda create -n myenv python=3.8

这行命令将创建一个名为"myenv"的环境，并安装Python 3.8版本。你可以根据需要选择其他的Python版本，就像为你的工作空间选择合适的工具。

3. 进入你的编程空间

环境创建完成后，使用以下命令激活它：

source activate myenv

激活后，你的命令行提示符会显示当前环境名称：(myenv)，仿佛你已经迈入了这个专属的编程空间。

4. 安装库：随心所欲

在这个环境中，你可以自由地使用conda安装所需的Python库及其特定版本，再也不用担心权限问题。

conda install dask>=2021.12

这行命令将安装满足版本需求的dask库，就像将所需的工具和材料搬进你的工作空间。

5. 测试：一切就绪？

安装完成后，让我们启动Python解释器，验证安装是否成功。

import dask
print(dask.__version__)

如果成功导入了dask库并显示正确的版本号，恭喜你，你的Python避风港已经搭建完毕！

修改作业脚本：通往新环境的航线

完成上述步骤后，我们需要修改你的作业提交脚本 (例如70my_01_140239.sh)，以便在你的个人conda环境中运行代码，就像规划一条通往新工作空间的航线。

以下是修改后的示例脚本：

#!/bin/bash
#PBS -A qris-jcu
#PBS -l select=1:ncpus=24:mem=120GB
#PBS -l walltime=06:00:00
#PBS -N 70my_01_140239

shopt -s expand_aliases
source /etc/profile.d/modules.sh
cd ${PBS_O_WORKDIR}
module load python
module load anaconda

# 激活conda环境
source activate myenv

python 70myb.py 8000 3 "E&V" 2 1 15 10000 120 24