Spider理论系列之requests入门

2023-12-12 17:21:29

导语：

走在漫漫Python开发之路上，在开发的过程中我们总会遇到各种网络请求，面对网络请求，怎么才能让我们更加优雅地实现功能，肯定是少不了requests模块。

requests是一个第三方网络请求库，它基于urllib3库，它具有简单易用、功能强大等特点。requests是基于RequestsResponse类的，对象的发送和获取数据都通过该类的接口来完成，那么我们如何使用这个库呢，我们本章会对这个强大的库一探究竟。

requests的安装

requests的安装方式非常的简单，只需要进入终端输入命令“pip install requests”，回车即可。之后，我们可以通过import语句导入它。

import requests

基本用法

以下是一个简单的使用示例：

import requests

url = 'https://www.baidu.com'

# 发送GET请求，并保存响应对象
response = requests.get(url)

# 输出响应状态码
print(response.status_code)

# 输出响应内容
print(response.text)

在上面的示例中，我们通过requests.get()方法发送了一个GET请求，并保存了响应对象。然后，我们通过response.status_code属性获取响应状态码，并通过response.text属性获取响应内容。

常用参数

在使用requests库发送请求时，我们可以指定一些参数，这些参数可以帮助我们更好地控制请求行为。

| 参数 | |
|---|---|
| url | 请求的URL |
| method | 请求的方法，例如GET、POST、PUT、DELETE等 |
| params | GET请求的参数，以字典形式传递 |
| data | POST请求的参数，以字典形式传递 |
| headers | 请求头信息，以字典形式传递 |
| cookies | Cookie信息，以字典形式传递 |
| timeout | 请求超时时间，单位为秒 |

响应对象

当我们发送一个请求后，会得到一个响应对象。响应对象包含了许多属性和方法，我们可以通过这些属性和方法获取响应信息。

| 属性/方法 | |
|---|---|
| status_code | 响应状态码 |
| headers | 响应头信息 |
| text | 响应内容（字符串格式） |
| content | 响应内容（字节格式） |
| json() | 将响应内容解析为JSON格式 |
| raise_for_status() | 如果响应状态码不是200，则引发异常 |