第六节：web爬虫之urllib（二）

二、urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

简介：urllib.request 模块提供了最基本的构造 HTTP 请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理 authenticaton （授权验证）， redirections （重定向)， cookies (浏览器Cookies）以及其它内容

参数详解：

　　url:访问的地址。

　　data:此参数为可选字段，其中传递的参数需要转为bytes，如果是字典我们只需要通过 urllib.parse.urlencode 转换即可：

　　headers:http相应headers传递的信息，构造方法：headers 参数传递，通过调用 Request 对象的 add_header() 方法来添加请求头；

　　origin_req_host ：指的是请求方的 host 名称或者 IP 地址。

　　unverifiable ：用来表明这个请求是否是无法验证的，默认是 False 。意思就是说用户没有足够权限来选择接收这个请求的结果。如果没有权限，这时　unverifiable 的值就是 True 。

　　method ：用来指示请求使用的方法，比如 GET ， POST ， PUT 等

了解一下 Urllib 库后，介绍一下它包含四个模块：

第一个模块 request：

　　它是最基本的 HTTP 请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入 URL 还有额外的参数，就可以模拟实现这个过程了。

巴特西