返回
纳米镜系列文章之二：多个业务雨露均沾的数据分析
前端
2023-10-24 00:04:42
引言
在之前的文章中，我们介绍了纳米镜的功能和背后的分析算法，而闲鱼目前业务线多且复杂，怎么构建一个可扩展性强的数据分析系统，使每个业务线都能够便捷地接入，成为首要关注的问题。
分析思路
纳米镜的分析算法，输入输出是固定的，要求输入是一个固定的标准ODPS数据集，字段包含userid、itemid、action、context等，输出是标准ODPS分析结果，字段包含userid、itemid、result，而实际业务的输入输出往往差异很大，字段不一致，数据量级不一。为了解决这个问题，纳米镜构建了一个数据处理层，将业务的输入数据转换为标准ODPS数据集，并将分析结果转换为业务需要的格式，业务只需要关心自己的输入输出，无需关心标准ODPS数据集。
数据架构
纳米镜的数据架构如下图所示：
[图片]
数据架构分为四层：
- 数据源层： 包括各种数据源，如日志、数据库、API等。
- 数据处理层： 将数据源层的数据转换为标准ODPS数据集。
- 分析层： 使用纳米镜的分析算法对标准ODPS数据集进行分析，生成分析结果。
- 数据服务层： 将分析结果转换为业务需要的格式，并提供给业务使用。
数据分析流程
纳米镜的数据分析流程如下图所示：
[图片]
数据分析流程分为以下几个步骤：
- 数据采集： 从数据源层采集数据。
- 数据预处理： 对采集到的数据进行预处理，包括清洗、转换、标准化等。
- 数据建模： 根据业务需求，将数据建模成标准ODPS数据集。
- 数据分析： 使用纳米镜的分析算法对标准ODPS数据集进行分析，生成分析结果。
- 数据服务： 将分析结果转换为业务需要的格式，并提供给业务使用。
应用场景
纳米镜已经在闲鱼的多个业务线落地应用，包括：
- 商品推荐： 纳米镜可以根据用户的历史行为数据，为用户推荐个性化的商品。
- 欺诈检测： 纳米镜可以根据用户的行为数据，检测欺诈行为。
- 风险控制： 纳米镜可以根据用户的行为数据，评估用户的风险等级。
- 客服智能化： 纳米镜可以根据用户的行为数据，帮助客服人员快速定位问题，并提供解决方案。
落地经验
在纳米镜的落地过程中，我们积累了一些经验：
- 业务需求导向： 纳米镜的开发和应用都是以业务需求为导向的，我们首先了解业务的需求，然后根据需求设计和开发纳米镜。
- 技术与业务相结合： 纳米镜的开发和应用离不开技术，但技术不是目的，而是手段，我们要将技术与业务相结合，才能真正解决业务问题。
- 持续迭代优化： 纳米镜是一个不断迭代优化的过程，我们要根据业务需求的变化和技术的发展，不断对纳米镜进行迭代优化，使其更好地满足业务需求。
总结
纳米镜是闲鱼打造的一款数据分析平台，可以帮助闲鱼实现跨业务的数据分析。纳米镜具有可扩展性强、使用方便等优点，已经在闲鱼的多个业务线落地应用，取得了良好的效果。
