一招学会Python爬虫链家二手房信息，轻松做数据可视化

2023-04-18 08:49:53

数据分析：链家二手房信息爬取与可视化

获取链家二手房信息

如今，数据分析对于房地产行业至关重要。掌握 Python 爬虫技术和数据可视化工具可以让我们深入了解市场动态，做出明智决策。

第一步是获取链家二手房信息。我们可以使用 Python 的 requests 库发送 HTTP 请求，获取 HTML 代码。然后，使用 beautifulsoup4 库解析 HTML 代码，提取出二手房标题、价格、面积和地址等信息。

import requests
from bs4 import BeautifulSoup

url_list = ["https://sh.lianjia.com/ershoufang/", "https://bj.lianjia.com/ershoufang/", "https://gz.lianjia.com/ershoufang/"]

house_info_list = []

for url in url_list:
    response = requests.get(url)
    html_code = response.text

    soup = BeautifulSoup(html_code, "html.parser")

    for house_info in soup.find_all("div", class_="houseInfo"):
        house_info_dict = {}

        house_info_dict["title"] = house_info.find("div", class_="title").text
        house_info_dict["price"] = house_info.find("div", class_="totalPrice").text
        house_info_dict["area"] = house_info.find("div", class_="area").text
        house_info_dict["address"] = house_info.find("div", class_="address").text

        house_info_list.append(house_info_dict)

数据清洗

爬取的数据可能包含重复、缺失值和不一致的格式。使用 Pandas 库可以进行数据清洗。

import pandas as pd

df = pd.DataFrame(house_info_list)

df = df.drop_duplicates()
df = df.fillna(0)
df["price"] = df["price"].str.replace("万", "").astype("float")
df["area"] = df["area"].str.replace("㎡", "").astype("float")

数据可视化

使用 Matplotlib 库可以将数据可视化，方便分析。

import matplotlib.pyplot as plt

df["price"].hist()
plt.xlabel("Price (万)")
plt.ylabel("Number of Houses")
plt.title("Distribution of House Prices")
plt.show()

df["area"].hist()
plt.xlabel("Area (㎡)")
plt.ylabel("Number of Houses")
plt.title("Distribution of House Areas")
plt.show()

df["address"].value_counts().plot(kind="bar")
plt.xlabel("Address")
plt.ylabel("Number of Houses")
plt.title("Distribution of House Addresses")
plt.show()