Python爬虫开发【第1篇】【urllib2】

1、urlopen

# urllib2_urlopen.py

# 导入urllib2 库

import urllib2

# 向指定的url发送请求，并返回服务器响应的类文件对象，urlopen中有data参数为POST请求，无data参数为GET请求

response = urllib2.urlopen("http://www.baidu.com")

# 类文件对象支持 文件对象的操作方法，如read()方法读取文件全部内容，返回字符串

html = response.read()

# 打印字符串

print html

执行写的python代码，将打印结果

2、request

# urllib2_request.py

import urllib2

# url 作为Request()方法的参数，构造并返回一个Request对象

request = urllib2.Request("http://www.baidu.com")

# Request对象作为urlopen()方法的参数，发送给服务器并接收响应

response = urllib2.urlopen(request)

html = response.read()

print html

3、user_agent（用户代理）

#urllib2_useragent.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0 的 User-Agent，包含在 ua_header里

ua_header = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"} 

#  url 连同 headers，一起构造Request请求，这个请求将附带 IE9.0 浏览器的User-Agent

request = urllib2.Request(url, headers = ua_header)

# 向服务器发送这个请求

response = urllib2.urlopen(request)

html = response.read()

print html

4、更多Header信息

在 HTTP Request 中加入特定的 Header，来构造一个完整的HTTP请求消息。

添加一个特定的header

# urllib2_headers.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0 的 User-Agent

header = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}

request = urllib2.Request(url, headers = header)

#也可以通过调用Request.add_header() 添加/修改一个特定的header

request.add_header("Connection", "keep-alive")

# 也可以通过调用Request.get_header()来查看header信息

# request.get_header(header_name="Connection")

response = urllib2.urlopen(req)

print response.code     #可以查看响应状态码

html = response.read()

print html

随机添加/修改User-Agent

# urllib2_add_headers.py

import urllib2

import random

url = "http://www.itcast.cn"

ua_list = [

    "Mozilla/5.0 (Windows NT 6.1; ) Apple.... ",

    "Mozilla/5.0 (X11; CrOS i686 2268.111.0)... ",

    "Mozilla/5.0 (Macintosh; U; PPC Mac OS X.... ",

    "Mozilla/5.0 (Macintosh; Intel Mac OS... "

]

user_agent = random.choice(ua_list)

request = urllib2.Request(url)

#也可以通过调用Request.add_header() 添加/修改一个特定的header

request.add_header("User-Agent", user_agent)

# 第一个字母大写，后面的全部小写

request.get_header("User-agent")

response = urllib2.urlopen(req)

html = response.read()

print html

5、urllib和urllib2

urllib 仅可以接受URL，不能创建设置了headers 的Request 类实例
urllib 提供 urlencode 方法用来GET查询字符串的产生，而 urllib2 则没有
编码使用urllib的urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串，解码使用urllib的unquote()函数

6、GET请求：用于我们向服务器获取数据

批量抓取贴吧页面数据

# 模拟 main 函数

if __name__ == "__main__":

    kw = raw_input("请输入需要爬取的贴吧:")

    # 输入起始页和终止页，str转成int类型

    beginPage = int(raw_input("请输入起始页："))

    endPage = int(raw_input("请输入终止页："))

    url = "http://tieba.baidu.com/f?"

    # 参数是一个dict类型，urlencode是中文进行转码 
　　  key = urllib.urlencode({"kw" : kw})

    # 组合后的url示例：http://tieba.baidu.com/f?kw=lol

    url = url + key

    tiebaSpider(url, beginPage, endPage)

接下来，我们写一个百度贴吧爬虫接口，我们需要传递3个参数给这个接口， 一个是main里组合的url地址，以及起始页码和终止页码，表示要爬取页码的范围。

def tiebaSpider(url, beginPage, endPage):

    """

        作用：负责处理url，分配每个url去发送请求

        url：需要处理的第一个url

        beginPage: 爬虫执行的起始页面

        endPage: 爬虫执行的截止页面

    """

    for page in range(beginPage, endPage + 1):

        pn = (page - 1) * 50

        filename = "第" + str(page) + "页.html"

        # 组合为完整的 url，并且pn值每次增加50

        fullurl = url + "&pn=" + str(pn)

        #print fullurl

        # 调用loadPage()发送请求获取HTML页面

        html = loadPage(fullurl, filename)

        # 将获取到的HTML页面写入本地磁盘文件

        writeFile(html, filename)

将爬取网页的代码封装成一个小函数loadPage，供我们使用。

def loadPage(url, filename):

    '''

        作用：根据url发送请求，获取服务器响应文件

        url：需要爬取的url地址

        filename: 文件名

    '''

    print "正在下载" + filename

    headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}

    request = urllib2.Request(url, headers = headers)

    response = urllib2.urlopen(request)

    return response.read()

最后如果我们希望将爬取到了每页的信息存储在本地磁盘上，我们可以简单写一个存储文件的接口。

def writeFile(html, filename):

    """

        作用：保存服务器响应文件到本地磁盘文件里

        html: 服务器响应文件

        filename: 本地磁盘文件名

    """

    print "正在存储" + filename

    with open(filename, 'w') as f:

        f.write(html)

    print "-" * 20

总结：

GET请求爬虫过程

# urllib2_get.py

import urllib      #负责url编码处理

import urllib2

url = "http://www.baidu.com/s"

word = {"wd":"传智播客"}

word = urllib.urlencode(word) #转换成url编码格式（字符串）

newurl = url + "?" + word    # url首个分隔符就是 ?

headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) 
　　　　　　Chrome/51.0.2704.103 Safari/537.36"}


# 发送请求

request = urllib2.Request(newurl, headers=headers)　　

# 获取响应

response = urllib2.urlopen(request)

print response.read()

7、POST请求：Request请求对象的里有data参数，它就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要匹配键值对

import urllib

import urllib2

# POST请求的目标URL

url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"

headers={"User-Agent": "Mozilla...."}

formdata = {

    "type":"AUTO",

    "i":"i love python",

    "doctype":"json",

    "xmlVersion":"1.8",

    "keyfrom":"fanyi.web",

    "ue":"UTF-8",

    "action":"FY_BY_ENTER",

    "typoResult":"true"

}

data = urllib.urlencode(formdata)

request = urllib2.Request(url, data = data, headers = headers)

response = urllib2.urlopen(request)


print response.read()

发送POST请求时，需要特别注意headers的一些属性：

Content-Length: 144：是指发送的表单数据长度为144，也就是字符个数是144个。
X-Requested-With: XMLHttpRequest ：表示Ajax异步请求。
Content-Type: application/x-www-form-urlencoded ：表示浏览器提交 Web 表单时使用，表单数据会按照 name1=value1&name2=value2 键值对形式进行编码。

8、获取AJAX加载的内容

有些网页内容使用AJAX加载，AJAX一般返回的是JSON，直接对AJAX地址进行post或get，就返回JSON数据

import urllib

import urllib2

# demo1



url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action"

headers={"User-Agent": "Mozilla...."}

# 变动的是这两个参数，从start开始往后显示limit个

formdata = {

    'start':'',

    'limit':''

}

data = urllib.urlencode(formdata)

request = urllib2.Request(url, data = data, headers = headers)

response = urllib2.urlopen(request)

print response.read()

# demo2

url = "https://movie.douban.com/j/chart/top_list?"

headers={"User-Agent": "Mozilla...."}

# 处理所有参数

formdata = {

    'type':'',

    'interval_id':'100:90',

    'action':'',

    'start':'',

    'limit':''

}

data = urllib.urlencode(formdata)

request = urllib2.Request(url, data = data, headers = headers)

response = urllib2.urlopen(request)

print response.read()

9、处理HTTPS请求 SSL证书验证

https 开头的网站，urllib2可以为 HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问

如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站如：https://www.12306.cn/mormhweb/的时候，

会警告用户证书不受信任。

urllib2在访问的时候则会报出SSLError：

import urllib2

url = "https://www.12306.cn/mormhweb/"

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
　　　　　　　　Chrome/54.0.2840.99 Safari/537.36"}

request = urllib2.Request(url, headers = headers)

response = urllib2.urlopen(request)

print response.read()

运行结果：

urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)>

所以，如果以后遇到这种网站，我们需要单独处理SSL证书，让程序忽略SSL证书验证错误，即可正常访问。

import urllib

import urllib2

# 1. 导入Python SSL处理模块

import ssl

# 2. 表示忽略未经核实的SSL证书认证

context = ssl._create_unverified_context()

url = "https://www.12306.cn/mormhweb/"

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
　　　　　　　　Chrome/54.0.2840.99 Safari/537.36"}

request = urllib2.Request(url, headers = headers)

# 3. 在urlopen()方法里 指明添加 context 参数

response = urllib2.urlopen(request, context = context)

print response.read()

10、cookie模拟登陆

import urllib

import urllib2

url = 'www.renren.com'

头文件中写入cookie信息，但是需要将Accept -Encoding字段注释掉，否则服务器会对返回的内容进行压缩，导致返回数据，出现乱码

headers = {*********}

request = urllib2.Request(url,headers=headers)

response = urllib2.urlopen(request)

巴特西

Python爬虫开发【第1篇】【urllib2】

发送POST请求时，需要特别注意headers的一些属性：

最新文章

热门文章