Python爬取InterfaceLIFT壁纸，下载到本地，数据存入数据库

2023-11-13 18:46:06

前言

InterfaceLIFT是一个知名的壁纸分享网站，提供了大量高质量的壁纸供用户下载。如果您是一位热爱壁纸的爱好者，或者需要在项目中使用壁纸，那么您可能需要从InterfaceLIFT上下载壁纸。手动下载壁纸是一项繁琐且耗时的工作，我们可以借助Python爬虫来自动完成此项任务。

准备工作

在开始爬取壁纸之前，我们需要做一些准备工作：

安装Python和必要的库。
注册InterfaceLIFT网站账号。
创建本地数据库（MySQL或MongoDB）。

1. 安装Python和必要的库

首先，我们需要安装Python和必要的库。

# 安装Python
sudo apt install python3

# 安装必要的库
pip install requests
pip install beautifulsoup4
pip install mysql-connector-python
pip install pymongo

2. 注册InterfaceLIFT网站账号

接下来，我们需要注册一个InterfaceLIFT网站账号。

打开InterfaceLIFT网站。
点击右上角的“注册”按钮。
填写注册信息，包括用户名、密码和电子邮件地址。
点击“注册”按钮，完成注册。

3. 创建本地数据库（MySQL或MongoDB）

最后，我们需要创建一个本地数据库来存储爬取到的壁纸数据。

MySQL

安装MySQL数据库。

sudo apt install mysql-server

创建数据库和用户。

mysql -u root -p
CREATE DATABASE wallpaper;
CREATE USER 'wallpaper'@'localhost' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON wallpaper.* TO 'wallpaper'@'localhost';
FLUSH PRIVILEGES;

MongoDB

安装MongoDB数据库。

sudo apt install mongodb

启动MongoDB服务。

sudo service mongod start

创建数据库和用户。

mongo
use wallpaper
db.createUser({ user: 'wallpaper', pwd: 'password', roles: [ { role: 'readWrite', db: 'wallpaper' } ] });

爬取壁纸

现在，我们可以开始爬取壁纸了。

import requests
from bs4 import BeautifulSoup
import mysql.connector
import pymongo

# InterfaceLIFT网站URL
base_url = 'https://interfacelift.com'

# 创建数据库连接
mysql_conn = mysql.connector.connect(
    host='localhost',
    user='wallpaper',
    password='password',
    database='wallpaper'
)
mysql_cursor = mysql_conn.cursor()

mongo_client = pymongo.MongoClient('localhost', 27017)
mongo_db = mongo_client['wallpaper']
mongo_collection = mongo_db['wallpapers']

# 爬取壁纸
for i in range(1, 10):
    # 获取壁纸列表页面URL
    url = f'{base_url}/wallpaper/downloads/date/desc/page/{i}'

    # 发送请求并获取响应
    response = requests.get(url)

    # 解析HTML
    soup = BeautifulSoup(response.text, 'html.parser')

    # 找到壁纸列表
    wallpapers = soup.find_all('div', class_='wall')

    # 遍历壁纸列表
    for wallpaper in wallpapers:
        # 获取壁纸标题
        title = wallpaper.find('h3').text.strip()

        # 获取壁纸分辨率
        resolution = wallpaper.find('p', class_='res').text.strip()

        # 获取壁纸下载链接
        download_url = wallpaper.find('a', class_='download')['href']

        # 下载壁纸
        image_response = requests.get(download_url)
        with open(f'wallpapers/{title}.jpg', 'wb') as f:
            f.write(image_response.content)

        # 将壁纸信息插入数据库
        mysql_cursor.execute(
            "INSERT INTO wallpapers (title, resolution, download_url) VALUES (%s, %s, %s)",
            (title, resolution, download_url)
        )
        mysql_conn.commit()

        mongo_collection.insert_one({
            'title': title,
            'resolution': resolution,
            'download_url': download_url
        })

# 关闭数据库连接
mysql_cursor.close()
mysql_conn.close()

mongo_client.close()