爬虫笔记（十）——学会使用Fiddler

Fiddler是一个常见的抓包分析软件，同时我们可以利用它详细地对HTTP请求进行分析，并模拟对应的HTTP请求。

为什么使用Fiddler软件？

网络爬虫是自动爬取网页的程序，在爬取的过程中必然涉及客户端和服务器端之间的通信，自然也需要发送一些HTTP请求，并接收服务器返回的结果。在一些稍复杂的网络请求中，我们直接看网址变化是看不出规律的，此时如果要进行自动化爬取网页，就必须要通过程序构造这些请求，而通过程序构造这些请求，就必须首先分析这些请求的规律。所以此时我们要使用工具截获这些请求，对其分析，这个过程如果使用抓包软件配合进行，则会变得更加轻松。

Fiddler的基本原理

在下图可以看出，如果没有Fiddler，本地应用如果要与服务器进行通信，可以直接向服务器发送Request请求，待服务器处理之后将处理结果返回本地，本地应用接收响应response。

如果有Fiddler，本地应用与服务器之间所有的Request和Response都将经过Fiddler，由Fiddler进行转发，可以看出，此时Fiddler以代理服务器的方式存在。由于所有的网络数据都会经过Fiddler，自然Fiddler能够截获这些数据，实现网路数据的抓包。

Fiddler的基本界面

在下图中，（1）处指位置为Fiddler的菜单栏，（2）处所指位置为Fiddler的工具栏，（3）处所指为Fiddler的会话列表，我们本地应用与互联网通信的会话信息在此显示，（4）处所指位置是Fiddler的QuickExec命令输入窗口，在此我们可以输入一些Fiddler指令来快速实现某项功能。

Fiddler捕获会话功能

安装完Fiddler后，我们就学习如何使用它捕获浏览器与服务器之间的会话信息。在此以Firefox火狐浏览器为例，让火狐浏览器使用Fiddler作为其代理服务器。设置火狐浏览器的方法如下：

首先点击火狐浏览器的设置，在点击高级，在“高级”中将标签切换成“网络”。

随后在“网络”下方看到“连接”字样“，我们单击”连接“右方的设置，单击后选择”手动配置代理“，并将”HTTP代理“设置为”127.0.0.1“，端口设置为”8888“，因为Fiddler监控的地址是127.0.0.1：8888。设置好之后，点击“确定”。

现在的网站有的使用HTTTP协议，有的使用的是HTTPS协议，如果想让Fiddler能够捕获他们，还需要设置下Fiddler。打开Fiddler，然后单击“Tools”，选择“Fiddler Options”，随后在弹出的界面中选择“HTTPS”标签，将下方选项全部勾选上，配置好之后，现在的Fiddler就能捕获火狐浏览器与服务器之间的HTTTP和HTTPS会话信息了。