爬虫——urllib.request包

一、引用包

　　import urllib.request

二、常用方法

　　（1）urllib.request.urlretrieve(网址，本地文件存储地址)：直接下载网页到本地

　　　　urllib.request.urlretrieve("http://www.baidu.com","D:\1.html")

　　（2）urllib.request.urlcleanup()：清理缓存

　　（3）查看网页基本内容

　　　　file = urllib.request.urlopen("http://www.baidu.com")

　　　　print(file.info()) #查看网页信息

　　　　print(file.code())#查看网页状态码

　　　　print(file.geturl())#获取当前网页的url

　　（4）设置网页超时时间

　　　　urllib.request.urlopen("http"//www.baidu.com",timeout=1)

　　　　timeout就是网页的超时时间设定

三、POST请求

import urllib.request

import urllib.parse

post_url = "http://www.baidu.com"

post_data = urllib.parse.urlencode{

    "username":"username"

    "password":"password"

    }.encode("utf-8")

req = urllib.request.Request(post_url,post_data)

四、异常处理

import urllib.request

import urllib.error

try:

    urllib.request.urlopen("http://www.baidu.com")

except urllib.error.URLError as e:

    if hasattr(e,"code"):

        print(e.code)

    if hasattr(e,"reason"):

        print(e.reason)

巴特西

爬虫——urllib.request包

最新文章

热门文章