Ubuntu 系统上 MPI4py 和 OpenMPI 不兼容问题终极指南

2024-03-10 03:50:49

Ubuntu 上 MPI4py 与 OpenMPI 不兼容问题的终极指南

导言

对于从事高性能计算 (HPC) 的 Python 开发人员来说，MPI4py 和 OpenMPI 是两大关键工具。然而，在 Ubuntu 系统上，这两个软件包有时会出现不兼容问题，阻碍您的并行编程工作。在本指南中，我们将深入探讨这个问题，并提供分步解决方案，帮助您恢复代码的顺畅运行。

诊断问题

如果您的 MPI4py 代码在使用 OpenMPI 时突然出现故障，您可能会看到类似以下的错误消息：

[juanMS:15643] [[INVALID],INVALID] ORTE_ERROR_LOG: A system-required executable either could not be found or was not executable by this user in file ess_singleton_module.c at line 572
[juanMS:15643] [[INVALID],INVALID] ORTE_ERROR_LOG: A system-required executable either could not be found or was not executable by this user in file ess_singleton_module.c at line 172
...
*** An error occurred in MPI_Init_thread
*** on a NULL communicator
*** MPI_ERRORS_ARE_FATAL (processes in this communicator will now abort,
***    and potentially your MPI job)

这些错误表明 OpenMPI 无法找到或执行必需的可执行文件，从而导致 MPI4py 初始化失败。

解决步骤

要解决此不兼容问题，请遵循以下分步指南：

检查系统更新：

确保已安装最新版本的系统更新，包括 OpenMPI 和 MPI4py。在终端中运行以下命令：
```
sudo apt update && sudo apt upgrade
```

删除旧安装：

完全删除 OpenMPI 和 MPI4py 的所有痕迹，包括其依赖项。使用以下命令：

sudo apt purge --autoremove libopenmpi-dev libopenmpi3 mpich openmpi-bin openmpi-common
pip uninstall mpi4py

重新安装 OpenMPI 和 MPI4py：

重新安装 OpenMPI 和 MPI4py 的最新版本：

sudo apt install openmpi-bin openmpi-doc openmpi-runtime openmpi-dev
pip install mpi4py

验证安装：

使用 mpirun 命令验证 OpenMPI 安装：
```
mpirun -np 4 hostname
```
输出应显示 4 个不同的主机名，表示 OpenMPI 已正确安装。

验证 MPI4py 安装：

运行以下 Python 脚本验证 MPI4py 安装：

from mpi4py import MPI

if __name__ == "__main__":
    size = MPI.COMM_WORLD.Get_size()
    rank = MPI.COMM_WORLD.Get_rank()
    name = MPI.Get_processor_name()

    print(f"Hello World! I am process {rank} of {size} on {name}.")

输出应显示类似于以下内容的信息：

Hello World! I am process 0 of 4 on node1
Hello World! I am process 1 of 4 on node2
Hello World! I am process 2 of 4 on node3
Hello World! I am process 3 of 4 on node4