返回

技术赋能数仓实践,Doris助力云积互动精准触达用户

后端

Apache Doris助力云积互动构建统一数仓,赋能精准触达

数据浪潮下,数仓建设势不可挡

在大数据时代,数据正日益成为企业的命脉。云积互动也不例外,随着业务量激增,数据量呈几何级增长,对数据实时性和灵活性提出了更高的要求。

旧平台掣肘,痛点亟需解决

早期,云积互动采用基于CDH的大数据平台,然而面对日益复杂的业务需求,该平台显露不足,主要痛点包括:

  • 数据处理速度慢: CDH平台的数据处理速度无法满足云积互动业务快速发展的需求,导致数据处理延迟,影响业务决策的及时性。
  • 数据存储成本高: 随着数据量的不断增长,CDH平台的数据存储成本也随之增加,给云积互动带来了沉重的负担。
  • 数据安全难以保障: CDH平台的数据安全防护措施不够完善,容易受到黑客攻击和数据泄露的风险。

引入Doris,统一数仓,技术赋能

为解决上述痛点问题,云积互动于2021年引入Apache Doris,构建统一数仓。Apache Doris是一款开源的MPP数据库,以其高性能、高可用、低成本、易于扩展的特点,完美契合云积互动的业务场景。

部署Doris,集群规模令人瞩目

云积互动在部署Apache Doris时,采用了两台物理机作为Doris集群,每台物理机配备32核CPU和512GB内存,存储空间为10TB。虽集群规模不大,但性能表现却出类拔萃,足以满足云积互动的业务需求。

性能优化,效果立竿见影

部署Apache Doris后,云积互动对平台进行了全方位的性能优化,包括:

  • 调整查询参数: 通过合理调整查询参数,可以显著提升查询性能。例如,增加查询缓存大小可以有效减少查询延迟。
  • 使用索引: 使用索引可以加快数据查询速度。在经常查询的列上创建索引,可以极大地提高查询性能。
  • 优化表结构: 优化表结构可以减少数据扫描量,从而提升查询性能。例如,将宽表转换为窄表可以有效减少数据扫描量。

效果显著,令人惊叹

经过性能优化,Apache Doris的查询性能得到大幅提升。在人群圈选场景中,查询速度从原来的几分钟缩短到几秒钟,人群圈选效率提升了30倍之多。

精准触达,指日可待

Apache Doris的引入,为云积互动构建统一数仓奠定了坚实的基础,使云积互动能够更加高效地处理和分析数据,为精准触达用户提供了强有力的数据支持。云积互动将继续探索Apache Doris的更多应用场景,不断提升数据分析能力,为业务发展提供更加有力的支撑。

常见问题解答

1. Apache Doris的优势有哪些?

Apache Doris是一款开源的MPP数据库,具有高性能、高可用、低成本、易于扩展等特点,非常适合处理大规模数据集的复杂分析查询。

2. 云积互动如何部署Apache Doris?

云积互动采用了两台物理机作为Doris集群,每台物理机配备32核CPU和512GB内存,存储空间为10TB。该集群规模虽不大,但性能表现却出类拔萃。

3. 云积互动如何优化Apache Doris的性能?

云积互动对Apache Doris的性能优化主要包括调整查询参数、使用索引和优化表结构等方面。这些优化措施显著提升了查询性能,在人群圈选场景中,查询速度提升了30倍。

4. Apache Doris如何帮助云积互动实现精准触达?

Apache Doris为云积互动构建了统一数仓,使云积互动能够更加高效地处理和分析数据,从而为精准触达用户提供强有力的数据支持。

5. 云积互动未来如何规划Apache Doris的使用?

云积互动将继续探索Apache Doris的更多应用场景,不断提升数据分析能力,为业务发展提供更加有力的支撑。