返回

Python 代码编译 WASI 模块最佳实践：Emscripten vs Pyodide

python

好的，下面是一篇关于将 Python 代码编译为 WASI 模块的技术博客文章：

将 Python 代码编译为 WASI 模块的最佳实践

将 Python 代码编译为 WASI（WebAssembly System Interface）模块，使其能够在 WebAssembly 运行时环境中访问系统资源，如文件系统、网络等，这为 Python 代码的跨平台运行和在浏览器外执行提供了新的可能性。 本文探讨将 Python 代码编译为 WASI 模块的最佳方法。

理解 WASI 和 WebAssembly 的区别

WebAssembly (Wasm) 是一种低级字节码格式，用于构建高性能的可移植代码。但 Wasm 最初设计目标是运行在沙箱环境，无法直接访问系统资源。 WASI 正好弥补了这一不足，它是一个模块化的系统接口规范，允许 Wasm 模块安全地访问操作系统功能，例如文件系统操作、网络连接等。因此，当我们提到 “WASI 模块” 时，通常指能够利用 WASI 标准访问系统资源的 WebAssembly 模块。

编译 Python 代码到 WASI 模块的方案

目前，将 Python 代码编译为 WASI 模块主要有两种方案：

  • 方案一：使用 Emscripten SDK

    Emscripten 是一个 LLVM 到 WebAssembly 的编译器工具链，它可以将 C/C++ 代码编译成 WebAssembly。 由于 CPython 解释器本身由 C 语言编写，理论上可以通过 Emscripten 将其编译为 WASI 模块。但是，这个过程比较复杂，涉及到处理 CPython 的依赖关系和构建系统。

    • 原理 ：将 CPython 解释器及其依赖库编译成 WASI 模块，然后将 Python 脚本嵌入到这个模块中，让解释器在 WASI 环境下运行脚本。

    • 步骤 ：

      1. 安装 Emscripten SDK：
      git clone https://github.com/emscripten-core/emsdk.git
cd emsdk
./emsdk install latest
./emsdk activate latest
source ./emsdk_env.sh

      1. 获取 CPython 源码：下载所需版本的 CPython 源码。

      2. 交叉编译 CPython：使用 Emscripten 提供的工具链配置和编译 CPython。 这一步需要根据目标环境调整编译参数。 例如，使用 -s WASM=1 参数启用 WASM 支持， 使用 -s USE_WASI=1 开启 WASI 系统接口支持。

      # 进入 CPython 源码目录
cd Python-3.x.x
./configure --host=wasm32-wasi --build=x86_64-linux-gnu --with-wasi-sysroot=.../wasi-sdk/share/wasi-sysroot/ # 使用你下载的 WASI SDK路径
make WASM_CFLAGS='-s USE_WASI=1 -s WASM=1' WASM_LDFLAGS='-s USE_WASI=1 -s WASM=1 -Wl,--export-all,--allow-undefined -s WASM=1'
      1. 创建 WASI 模块：使用编译好的 CPython 解释器运行 Python 脚本， 并通过工具 (如wasm-wasi)打包成 WASI 模块。具体细节会涉及到打包 WASI 兼容的文件系统等。
      ./python -m wasm -o my_script.wasm my_script.py # 使用编译后的解释器创建 WASI 模块， 这里的-m wasm 为示例，实际打包过程依赖具体场景，也可能是运行CPython的同时嵌入py代码到打包文件中。

    • 优缺点 : 此方法能最大限度地保持 CPython 兼容性， 允许运行绝大部分 Python 代码。 但是构建复杂，过程繁琐，并且 WASI 模块的体积可能偏大。

  • 方案二：使用 Pyodide 或类似工具

    Pyodide 是一个基于 Emscripten 的 CPython 发行版，专门针对在浏览器和 Web Worker 环境中使用，但也兼容 Node.js 和 Deno 等其他支持 WebAssembly 的环境，理论上也可以用于构建 WASI 模块，虽然其默认不是专为 WASI 设计，需要对其改造和编译过程调整。类似工具还有 MicroPython WASM port 等，也提供了不同的解决方案思路。

    • 原理 : Pyodide 已经预编译了许多常用的 Python 科学计算库，并且提供了方便的 JavaScript 互操作性。对于 WASI 环境，需要对它进行定制编译，移除与浏览器相关的特性，并添加 WASI 支持。MicroPython 等轻量级Python实现也类似， 核心思想是将Python解释器与常用库编译成一个较小的 WebAssembly/WASI 模块。

    • 步骤（以 Pyodide 为例，注意：此步骤仅作为示例，官方 Pyodide 并不直接支持 WASI， 需要自定义编译）：

      1. 获取 Pyodide 源码（或其它支持编译到WASM的Python实现源码）:
      git clone https://github.com/pyodide/pyodide.git
      1. 定制化编译：修改 Pyodide 的构建配置，移除不需要的浏览器 API，添加 WASI 支持。 并将所需 Python 脚本或代码编译嵌入到 WASI 模块中。 具体编译方式参考其构建文档，并根据 WASI 需求调整 Emscripten 编译选项。
      2. 生成 WASI 模块: 使用 Emscripten 构建 WASI 模块，并将 Python 代码打包到其中。 具体打包过程涉及使用 emcc 工具，将解释器和库代码链接到 WASI 标准库， 并生成 .wasm 文件。

      例如： (示例命令，具体需要按照对应项目的构建文档操作)：

      # 需要根据 pyodide 构建系统文档， 加入 -s USE_WASI=1 -s WASM=1 以及 其他WASI 配置项， 并定制嵌入 python 代码。  此示例命令无法直接使用。
emcc -s WASM=1 -s USE_WASI=1 pyodide.c python_code.py -o my_script.wasm

    • 优缺点 ： Pyodide 及其类似工具通常提供更易用的 API 和更好的性能，因为它们针对特定环境进行了优化，且已经预编译了一些库。但如果需要运行的代码不限于其已提供的功能库，或者要构建通用的WASI 模块，则可能需要额外的定制编译步骤， 例如本例中的手动配置 Pyodide 编译并添加 WASI 支持。 MicroPython 则通常更轻量，但功能上相对有限。

安全建议

编译和运行 WebAssembly 模块时，请务必注意安全性：

  • 验证输入： 如果 WASI 模块接收用户输入，请务必进行验证和过滤，防止恶意代码注入。
  • 权限控制： WASI 提供了细粒度的权限控制机制。在部署 WASI 模块时，应限制其对系统资源的访问权限，遵循最小权限原则。
  • 使用最新工具链： 确保使用的 Emscripten、Pyodide 或其他工具链是最新版本，以获取安全补丁和性能改进。

结论

将 Python 代码编译为 WASI 模块是一个复杂的过程，需要根据具体需求选择合适的方案。Emscripten 提供了底层控制，但构建过程复杂，而 Pyodide 或其他定制编译方案通常更易于使用， 但可能需要一些定制工作来满足特定需求。 两种方法都可以让Python 代码获得跨平台特性，在更广泛的场景下使用。

相关资源

希望以上信息能帮助您找到最佳方案！