PyTorch 1.8 正式发布，全方位升级，为大规模训练保驾护航

自 PyTorch 1.7 版本发布以来，PyTorch 团队马不停蹄地进行了一系列改进和优化，本次 PyTorch 1.8 版本更新涵盖了 3,000 多次提交，全面提升了 PyTorch 在各方面的表现。

AMD 支持，释放更多算力

PyTorch 1.8 现已通过 pytorch.org 提供对 AMD ROCm 的二进制文件支持，这将极大地扩展 PyTorch 的可用性，允许用户在 AMD GPU 上无缝运行 PyTorch 模型。AMD GPU 以其卓越的性能和高性价比著称，PyTorch 1.8 对 AMD 的支持将为用户提供更广泛的选择，满足不同场景下的计算需求。

编译优化，速度提升

PyTorch 1.8 在编译器方面进行了大量优化，显著提升了代码执行速度。这些优化包括对循环展开、常量折叠和冗余消除等技术的改进，使得 PyTorch 模型在运行时能够更加高效地利用底层硬件资源。

代码优化，精益求精

除了编译优化之外，PyTorch 1.8 还对代码本身进行了优化，减少了不必要的内存分配和函数调用。这些优化使得 PyTorch 模型在训练和推理过程中更加轻量级，释放了宝贵的计算资源。

科学计算，更上一层楼

PyTorch 1.8 强化了其在科学计算方面的能力，引入了许多新的张量操作和函数，扩展了 PyTorch 在科学计算领域的应用范围。这些新增功能使得 PyTorch 能够更加高效地处理科学计算任务，为科学研究和工程模拟提供了有力的支持。

大规模训练，再创辉煌

PyTorch 1.8 为大规模训练带来了革命性的提升，新增了对管道并行和模型并行的大规模训练功能。管道并行允许将模型的不同层分配到不同的 GPU 上并行训练，而模型并行则允许将模型的不同参数块分配到不同的 GPU 上并行训练。这些并行技术极大地提高了大规模训练的效率，使训练超大规模模型成为可能。

全面提升，再创佳绩

除了上述主要更新之外，PyTorch 1.8 还包含了众多其他改进，涵盖了框架的各个方面，包括：

• 增强了对定制算子的支持，允许用户定义自己的算子并将其无缝集成到 PyTorch 模型中。
• 改进了对分布式训练的支持，使多 GPU 训练更加高效和稳定。
• 扩展了对自动混合精度 (AMP) 的支持，使训练过程更加稳定和高效。
• 引入了新的调试工具和性能分析工具，帮助用户识别和解决模型中的问题。

结语

PyTorch 1.8 的发布标志着 PyTorch 发展史上的一个重要里程碑，它带来了诸多激动人心的新特性，全面提升了 PyTorch 在编译、代码优化、科学计算和大规模训练等方面的能力。PyTorch 1.8 的到来将极大地推动 AI 领域的创新，为开发者和研究人员提供更强大的工具，释放 AI 的无限潜力。