用Python爬虫技术快速获取A股上市公司年报链接并生成Excel表格

后端

2023-01-04 04:56:42

掌握数据的力量：使用 Python 爬虫提取上市公司年报链接

在当今数字化的时代，数据已成为企业决策和洞察的基石。对于财务分析师、投资者和数据爱好者而言，获取准确、及时且有价值的数据至关重要。而上市公司年报则是获取公司财务状况和经营表现的重要渠道。

传统上，从各家上市公司网站上搜集和整理年报链接是一项耗时且乏味的任务。但借助 Python 爬虫技术，我们可以轻松自动化这一过程。

Python 爬虫：自动化数据采集

Python 爬虫是一种强大的数据采集工具，可以模拟浏览器行为，访问指定网站并提取所需信息。通过编写 Python 脚本，我们可以轻松从网络上抓取和处理所需数据。

本教程将指导您使用 Python 爬虫从指定网站中抓取 A 股上市公司年报链接，并将其存储在 Excel 表格中。

步骤详解

1. 导入必要的 Python 库

pip install requests beautifulsoup4 pandas

2. 获取 A 股上市公司列表

可通过 Shanghai Stock Exchange 或 Shenzhen Stock Exchange 网站下载上市公司列表，或使用 tushare 库获取：

import tushare as ts

stock_list = ts.get_stock_basics()

3. 构建爬虫脚本

import requests
from bs4 import BeautifulSoup

def get_annual_report_link(stock_code):

    url = 'https://www.sse.com.cn/assortment/stock/list/info/cnsjgs_gsgg.shtml?COMPANY_CODE=' + stock_code
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')

    link = soup.find('a', text='公司公告')
    href = link.get('href')

    return href

4. 抓取年报链接并存储在 Excel 表格中

import pandas as pd

def save_annual_report_links_to_excel(stock_list, filename):

    links = []
    for stock_code in stock_list['ts_code']:
        link = get_annual_report_link(stock_code)
        links.append(link)

    df = pd.DataFrame({
        '上市公司代码': stock_list['ts_code'],
        '上市公司名称': stock_list['name'],
        '年报链接': links
    })

    df.to_excel(filename, index=False)