无量：腾讯大规模分布式机器学习系统的技术选型之路

在互联网场景中，亿级的用户每天产生着百亿规模的用户数据，形成了超大规模的训练样本。如何利用这些数据训练出更好的模型并用这些模型为用户服务，给机器学习平台带来了巨大的挑战。腾讯开发了一个基于参数服务器架构的机器学习计算框架——无量框架，已经能够完成百亿样本 / 百万特征的机器学习模型训练，且训练时间从天级缩短到小时级，大大提高了机器学习模型的开发效率。本文将介绍无量框架的关键技术，以及在这些技术选型背后的思考过程。

无量框架的技术选型

1. 系统架构

无量框架采用参数服务器架构，这种架构的特点是将模型参数存储在独立的服务器上，而计算节点则从参数服务器上获取模型参数，进行模型训练和预测。参数服务器架构具有良好的扩展性和容错能力，可以轻松地应对大规模机器学习任务。

2. 通信框架

无量框架使用腾讯自研的通信框架——Tonic，Tonic框架具有高性能、低延迟、高吞吐量的特点，非常适合大规模分布式机器学习任务。

3. 存储系统

无量框架使用腾讯自研的分布式文件系统——TFS，TFS具有高可靠性、高可用性和高性能的特点，非常适合存储大规模机器学习模型。

4. 计算框架

无量框架支持多种计算框架，包括TensorFlow、PyTorch和MXNet。这些计算框架都是业界领先的机器学习框架，具有强大的功能和丰富的生态系统。

5. 易用性

无量框架提供了友好的用户界面和丰富的API，使开发者能够快速开发和部署机器学习模型。无量框架还提供了丰富的文档和示例，帮助开发者快速上手。

技术选型背后的思考过程

在无量框架的技术选型过程中，腾讯工程师考虑了多种因素，包括系统性能、可靠性、扩展性和易用性等。最终，腾讯工程师选择了最适合无量系统需求的技术方案。

1. 系统性能

无量框架是一个大规模分布式机器学习系统，因此系统性能是至关重要的。腾讯工程师选择了Tonic通信框架和TFS存储系统，这两个系统都具有高性能、低延迟、高吞吐量的特点，可以满足无量框架的性能需求。

2. 系统可靠性

无量框架是一个生产环境系统，因此系统可靠性是至关重要的。腾讯工程师选择了Tonic通信框架和TFS存储系统，这两个系统都具有高可靠性、高可用性和高性能的特点，可以满足无量框架的可靠性需求。

3. 系统扩展性

无量框架是一个大规模分布式机器学习系统，因此系统扩展性是至关重要的。腾讯工程师选择了Tonic通信框架和TFS存储系统，这两个系统都具有良好的扩展性，可以满足无量框架的扩展性需求。

4. 系统易用性

无量框架是一个生产环境系统，因此系统易用性是至关重要的。腾讯工程师提供了友好的用户界面和丰富的API，使开发者能够快速开发和部署机器学习模型。无量框架还提供了丰富的文档和示例，帮助开发者快速上手。

总结

无量框架是一个大规模分布式机器学习系统，它具有良好的性能、可靠性、扩展性和易用性。无量框架的技术选型过程是一个复杂的过程，腾讯工程师考虑了多种因素，最终选择了最适合无量系统需求的技术方案。