轻松入门Spark项目实战：详细图文详解，小白也能搞懂！

后端

2023-10-14 13:47:40

Apache Spark 项目实战：机器学习和图形分析揭秘

简介

随着数据爆炸的来袭，Apache Spark 已成为大数据处理领域不可或缺的利器，以其强大的处理能力和丰富的分析功能著称。对于渴望学习 Spark 的初学者而言，本文将通过两个引人入胜的项目实战，带您领略 Spark 的强大魅力。

项目 1：基于 Spark MLlib 的鸢尾花聚类

目标

该项目旨在通过 Spark MLlib 库对鸢尾花数据集进行聚类，并可视化聚类结果。

步骤

导入必要库：

import org.apache.spark.ml.clustering.KMeans;
import org.apache.spark.ml.feature.VectorAssembler;
import org.apache.spark.sql.SparkSession;

加载鸢尾花数据集：

val irisData = spark.read.csv("iris.csv");

特征工程：

val assembler = new VectorAssembler()
  .setInputCols(Array("sepal_length", "sepal_width", "petal_length", "petal_width"))
  .setOutputCol("features");

val irisDataWithFeatures = assembler.transform(irisData);

聚类：

val kmeans = new KMeans().setK(3).setSeed(1L);
val model = kmeans.fit(irisDataWithFeatures);

评估聚类结果：

val cost = model.computeCost(irisDataWithFeatures);
println(s"聚类结果评估：cost = $cost");

可视化聚类结果：

val predictions = model.transform(irisDataWithFeatures);
predictions.groupBy("prediction").count().show();

项目 2：基于 Spark GraphX 的航班飞行网图分析

目标

该项目将使用 Spark GraphX 库分析航班飞行数据集，并绘制航班飞行网图。

步骤

导入必要库：

import org.apache.spark.graphx._;
import org.apache.spark.rdd.RDD;
import org.apache.spark.sql.SparkSession;

加载航班飞行数据集：

val flightsData = spark.read.csv("flights.csv");

构建图结构：

val vertices: RDD[(VertexId, String)] = flightsData.rdd.map(row => (row.getAs[String]("origin"), row.getAs[String]("origin")));
val edges: RDD[Edge[Int]] = flightsData.rdd.map(row => Edge(row.getAs[String]("origin"), row.getAs[String]("destination"), 1));
val graph: Graph[String, Int] = Graph(vertices, edges);

分析图结构：

println(s"图的顶点个数：${graph.vertices.count()}");
println(s"图的边数：${graph.edges.count()}");

绘制航班飞行网图：

val layout = graph.pageRank(0.001).vertices;
val map = layout.map(row => (row._1, (row._2.x, row._2.y)));
val graphFrame = map.toDF("id", "coordinates");
graphFrame.show();