数据采集场景解决之道——阿里UC的前端监控系统

2023-09-10 16:10:58

引言

随着互联网的快速发展，Web承载的业务变得越来越复杂，用户对于Web的体验要求也越来越高。Web性能的优劣对业务收益也有着非常直接的影响。对于阿里UC来说，每天有超过10亿的PV，如何构建高效可靠的前端监控平台是亟需解决的问题。

本文主要介绍阿里UC前端监控平台的采集上报模块的设计与实现，为其他同类型平台的搭建提供参考。

数据采集面临的挑战

在阿里UC这样的流量规模下，前端监控数据采集面临着许多挑战：

数据量大。 每天有超过10亿的PV，需要采集的数据量非常大。
数据种类多。 前端监控需要采集的数据种类非常多，包括但不限于页面加载时间、首屏加载时间、白屏时间、DNS解析时间、TCP连接时间、HTTP请求时间、资源加载时间、错误信息等。
数据采集方式复杂。 前端监控数据采集的方式非常复杂，包括但不限于埋点、日志、抓包等。
数据质量要求高。 前端监控数据质量要求非常高，需要保证数据的准确性和完整性。

阿里UC前端监控平台的采集上报模块主要由以下几个部分组成：

阿里UC前端监控平台的采集上报模块的设计与实现主要包括以下几个方面：

埋点策略。 阿里UC前端监控平台的埋点策略主要基于以下几个原则：
- 少而精。 埋点数量要少而精，不能盲目地增加埋点数量。
- 覆盖全面。 埋点要覆盖所有需要采集的数据。
- 易于维护。 埋点要易于维护，不能给前端开发人员带来太多的负担。
日志策略。 阿里UC前端监控平台的日志策略主要基于以下几个原则：
- 统一格式。 日志要使用统一的格式，以便于解析和存储。
- 分级分类。 日志要分级分类，以便于管理和查询。
- 按需采集。 日志要按需采集，不能盲目地采集所有日志。
抓包策略。 阿里UC前端监控平台的抓包策略主要基于以下几个原则：
- 按需抓包。 抓包要按需进行，不能盲目地抓包。
- 数据脱敏。 抓包的数据要进行脱敏处理，以保护用户隐私。
- 数据加密。 抓包的数据要进行加密处理，以保证数据安全。
数据上报策略。 阿里UC前端监控平台的数据上报策略主要基于以下几个原则：
- 实时上报。 数据要实时上报，不能延迟上报。
- 可靠上报。 数据要可靠上报，不能丢失数据。
- 高效上报。 数据要高效上报，不能影响前端代码的性能。