Python3网络爬虫:urllib.error异常
转载请注明作者和出处:http://blog.csdn.net/c406495762/article/details/59488464
一.urllib.error
urllib.error可以接收有urllib.request产生的异常。urllib.error有两个方法,URLError和HTTPError。如下图所示:
URLError是OSError的一个子类,HTTPError是URLError的一个子类,服务器上HTTP的响应会返回一个状态码,根据这个HTTP状态码,我们可以知道我们的访问是否成功。例如第二个笔记中提到的200状态码,表示请求成功,再比如常见的404错误等。
1.URLError
让我们先看下URLError的异常,创建文件urllib_test06.py,编写如下代码:
# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error
if __name__ == "__main__":
#一个不存在的连接
url = "http://www.iloveyou.com/"
req = request.Request(url)
try:
response = request.urlopen(req)
html = response.read().decode('utf-8')
print(html)
except error.URLError as e:
print(e.reason)
我们可以看到如下运行结果:
2.HTTPError
再看下HTTPError异常,创建文件urllib_test07.py,编写如下代码:
# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error
if __name__ == "__main__":
#一个不存在的连接
url = "http://www.douyu.com/Jack_Cui.html"
req = request.Request(url)
try:
responese = request.urlopen(req)
# html = responese.read()
except error.HTTPError as e:
print(e.code)
运行之后,我们可以看到404,这说明请求的资源没有在服务器上找到,www.douyu.com这个服务器是存在的,但是我们要查找的Jack_Cui.html资源是没有的,所以抛出404异常。
二.URLError和HTTPError混合使用
最后值得注意的一点是,如果想用HTTPError和URLError一起捕获异常,那么需要将HTTPError放在URLError的前面,因为HTTPError是URLError的一个子类。如果URLError放在前面,出现HTTP异常会先响应URLError,这样HTTPError就捕获不到错误信息了。
如果不用上面的方法,也可以使用hasattr函数判断URLError含有的属性,如果含有reason属性表明是URLError,如果含有code属性表明是HTTPError。创建文件urllib_test08.py,编写代码如下:
# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error
if __name__ == "__main__":
#一个不存在的连接
url = "http://www.douyu.com/Jack_Cui.html"
req = request.Request(url)
try:
responese = request.urlopen(req)
except error.URLError as e:
if hasattr(e, 'code')
print("HTTPError")
print(e.code)
elif hasattr(e, 'reason')
print("URLError")
print(e.reason)
运行结果如下:
最新文章
- DropDownList 下拉框选择改变,促发事件和防全局刷新(记录)
- 公告栏放honehoneclock和喂小老鼠flash
- 2.1顺序容器-vector
- ps通道磨皮
- css样式表 格式与布局
- ADO.NET笔记——使用连接池
- AngularJS Boostrap Pagination Sample
- win7如何共享文件 图文教你设置win7文件共享
- 让你提前认识软件开发(19):C语言中的协议及单元測试演示样例
- 终于懂了:FWinControls子控件的显示是由Windows来管理,而不是由Delphi来管理(显示透明会导致计算无效区域的方式有所不同——透明的话应减少剪裁区域,所以要进行仔细计算)
- 像Linux终端一样使用windows命令行【cmder】
- mentohust 使用
- linux-2.6.18源码分析笔记---信号
- C#打印字符串内容,例如打印Textbox内容
- [Linux] 设置系统时区
- Wiener’s attack python
- python 字符转换记录
- FDLocalSQL
- 【跟着开涛学Shiro】(一)Shiro简介
- NGINX.conf配置文件支持pathinfo