程序员专属：轻松上手的数据可视化教程，拯救你的程序员生涯

后端

2023-04-27 22:47:19

用网络爬虫、pandas 和 pyecharts 掌握数据可视化

前言：数据可视化的重要性

当今世界，数据无所不在，从我们日常生活的点点滴滴到企业运营的各个层面。然而，这些数据往往杂乱无章，难以解读，这就是数据可视化的用武之地。数据可视化是一种通过图表和图形来展示数据的技术，让我们能够轻松理解并从中提取见解。

工具介绍

为了有效地进行数据可视化，我们需要利用强大的工具：

网络爬虫： 从网站自动收集数据。
Pandas： 数据分析库，用于处理和清理数据。
Pyecharts： 数据可视化库，用于创建各种类型的图表和图形。

步骤一：使用网络爬虫抓取数据

网络爬虫使我们能够从网络上的指定页面提取数据。我们可以使用 requests 库来发送 HTTP 请求，并使用 BeautifulSoup 库来解析 HTML 响应。将解析后的数据存储在数据框中，用于进一步的分析。

代码示例：

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 发送HTTP请求
response = requests.get("https://www.coursera.org/browse")

# 解析HTML响应
soup = BeautifulSoup(response.text, "html.parser")

# 找到课程名称和课程链接
course_names = [course.text for course in soup.select(".card-title")]
course_links = [course["href"] for course in soup.select(".card-link")]

# 创建数据框
df = pd.DataFrame({
    "课程名称": course_names,
    "课程链接": course_links
})

# 将数据框存储到CSV文件中
df.to_csv("courses.csv", index=False)

步骤二：使用 Pandas 分析数据

Pandas 提供了丰富的函数，用于对数据进行各种统计分析。我们可以计算统计量（如平均值和中位数），并创建数据透视表，以深入了解数据并发现有价值的见解。

代码示例：

import pandas as pd

# 读取CSV文件
df = pd.read_csv("courses.csv")

# 计算统计量
df["课程名称"].value_counts().head(10)

# 创建数据透视表
df.pivot_table(values="课程名称", index="课程类别", aggfunc="count")

步骤三：使用 Pyecharts 可视化数据

Pyecharts 提供了一个简单易用的界面，用于创建交互式数据可视化。我们可以使用各种图表类型（如饼图和柱状图）来直观地展示数据，让其他人更容易理解和吸收。

代码示例：

import pyecharts

# 创建饼图
pie = pyecharts.Pie("课程类别分布")
pie.add("", [["课程类别", "数量"]], df.pivot_table(values="课程名称", index="课程类别", aggfunc="count").reset_index().values.tolist())
pie.render("pie.html")

# 创建柱状图
bar = pyecharts.Bar("课程名称排名")
bar.add("", df["课程名称"].value_counts().head(10).index.tolist(), df["课程名称"].value_counts().head(10).tolist())
bar.render("bar.html")