爬虫在女同学面前，又一次让我倍有面子！
2023-09-29 13:50:04
前言
最近，女同学小美向我请教一个web开发问题：如何获取浏览器抓包中看不到的HTTP请求参数？我当时胸有成竹地说：“交给我吧，这是小菜一碟！”然而，当我在浏览器中抓包时，却发现无法直接看到请求参数。这让我有些尴尬，但又不甘心就此放弃。经过一番探索，我发现可以使用Fiddler或jsoup来解决这个问题。下面，我就来详细介绍一下这两个工具的使用方法。
Fiddler
Fiddler是一个强大的web调试工具，可以抓取浏览器和web服务器之间所有的HTTP请求和响应。要使用Fiddler抓取HTTP请求参数，需要先安装Fiddler，然后在浏览器中设置代理服务器。具体步骤如下：
- 打开Fiddler，点击“Tools”菜单，选择“Options”。
- 在“Connections”选项卡中，将“Capture HTTPS CONNECTS”勾选上。
- 在“HTTPS”选项卡中，将“Decrypt HTTPS traffic”勾选上。
- 在浏览器中，设置代理服务器为127.0.0.1，端口为8888。
设置好代理服务器后，就可以在Fiddler中抓取HTTP请求了。具体步骤如下：
- 打开浏览器，访问目标网站。
- 在Fiddler中，找到对应的HTTP请求。
- 在“Inspectors”选项卡中，查看HTTP请求的详细信息，其中包括请求参数。
jsoup
jsoup是一个Java库，可以解析HTML和XML文档。要使用jsoup抓取HTTP请求参数，需要先在项目中引入jsoup依赖。具体步骤如下：
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.15.3</version>
</dependency>
引入依赖后，就可以使用jsoup抓取HTTP请求参数了。具体步骤如下：
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
// ...省略其他代码...
// 创建一个Document对象，用于解析HTML文档
Document doc = Jsoup.connect(url).get();
// 获取HTTP请求参数
Map<String, String> params = doc.select("form[action=" + url + "]").first().data();
// ...省略其他代码...
应用案例
在实际应用中，我利用爬虫来抓取豆瓣电影的评分和评论。豆瓣电影的评分和评论都是动态加载的，无法直接在浏览器中看到。我使用了Fiddler抓取了豆瓣电影的HTTP请求，发现评分和评论的数据是通过AJAX请求获取的。然后，我使用jsoup解析了AJAX请求返回的HTML文档，成功获取到了评分和评论。
总结
Fiddler和jsoup都是强大的工具，可以帮助开发者抓取HTTP请求参数。Fiddler是一款图形化工具，使用起来比较方便。jsoup是一个Java库，需要在项目中引入依赖。开发者可以根据自己的需要选择合适的工具。通过学习使用Fiddler和jsoup，开发者可以更加深入地了解web开发的技术细节，从而编写出更高质量的web应用。
