返回

视频巨擘快手诠释:打造大视频时代下的新型基础架构

见解分享

导言

随着视频技术的蓬勃发展,短视频平台已成为人们获取信息和娱乐的重要渠道。作为国内短视频领域的头部企业,快手平台日活用户量突破 4 亿,日均视频上传量高达 1000 万,平台承载着海量的短视频内容。

在如此庞大的用户基数和内容量的支撑下,快手对底层技术架构提出了更高的要求。如何构建一个能够支撑业务高速增长的基础设施,成为快手在视频大时代下必须思考和解决的问题。

本文整理自快手短视频架构负责人——黄琦,在LiveVideoStackCon 2021 音视频技术大会 北京站上的演讲内容,将为您一一揭晓快手的视频技术实践,了解其如何打造面向未来的视频基础架构,助力业务的持续腾飞。

快手视频基础架构的构建之路

快手的视频基础架构经历了自建IDC、采用公有云、再到云原生平台的架构变迁。

自建IDC时代

早期的快手采用自建IDC的方式搭建视频基础架构。自建IDC的好处在于自主可控,能够根据业务需求灵活调整资源,满足业务快速增长的需要。

但自建IDC也存在着成本高、运维复杂、扩展性差等问题。随着快手业务的快速增长,自建IDC逐渐难以满足业务需求。

采用公有云

为了解决自建IDC的痛点,快手开始采用公有云服务。公有云的好处在于弹性扩展、降低成本、提升运维效率。

但公有云也存在着一定的缺点,例如资源独享性差、成本较高。此外,公有云服务商往往会限制用户对底层资源的访问权限,这使得快手难以深入优化系统性能。

云原生平台

为了解决公有云的痛点,快手决定自研云原生平台。云原生平台的好处在于能够灵活扩展、降低成本、提升运维效率。同时,云原生平台给予用户对底层资源的访问权限,有利于快手深入优化系统性能。

快手的云原生平台基于 Kubernetes 构建,集成了众多开源组件,例如 etcd、Ceph、Calico、Istio 等。通过云原生平台,快手能够实现资源的弹性扩展、自动化运维,并提升系统的稳定性。

快手视频基础架构的特点

快手的视频基础架构具备以下特点:

  • 规模大: 快手的视频基础架构每天处理超过 1000 万条视频,存储超过 1000PB 的视频数据。
  • 高并发: 快手的视频基础架构每天处理超过 100 亿次请求,峰值并发超过 1000 万。
  • 低延时: 快手的视频基础架构为用户提供毫秒级的视频播放体验。
  • 高可靠: 快手的视频基础架构采用多活集群部署,数据多副本存储,确保服务的连续性。

快手视频基础架构的优化实践

在打造视频基础架构的过程中,快手也进行了大量的优化实践,例如:

  • 采用LSM存储引擎: 快手在存储视频数据时采用 LSM 存储引擎,该引擎能够降低写入放大,提升存储吞吐量。
  • 基于LSM实现的对象存储: 快手基于 LSM 存储引擎实现了一套分布式对象存储系统,该系统支持海量小对象的高效存储。
  • 基于LSM实现的分布式KV系统: 快手基于 LSM 存储引擎实现了一套分布式 KV 系统,该系统支持海量的键值对数据。
  • 基于LSM实现的时序数据库: 快手基于 LSM 存储引擎实现了一套分布式时序数据库,该数据库支持海量的时序数据。

快手视频基础架构的未来发展

展望未来,快手将在以下几个方面继续优化其视频基础架构:

  • 持续优化云原生平台: 快手将持续优化其云原生平台,提升平台的稳定性、扩展性、易用性。
  • 探索新的存储技术: 快手将探索新的存储技术,例如 NVMe SSD、分布式文件系统等,以进一步提升存储系统的性能和容量。
  • 应用人工智能技术: 快手将应用人工智能技术,例如机器学习、深度学习等,以优化视频基础架构的性能、成本和运维效率。

结语

快手在视频大时代下构建的新型视频基础架构,为其业务的持续增长提供了强有力的技术支撑。通过构建云原生平台、采用LSM存储引擎、应用人工智能技术,快手实现了视频基础架构的规模化、高并发、低延时、高可靠。展望未来,快手将持续优化其视频基础架构,以满足其业务发展的需要。