爬虫之urllib模块

1. urllib模块介绍

python自带的一个基于爬虫的模块。
作用：可以使用代码模拟浏览器发起请求。
经常使用到的子模块：request，parse。
使用流程：
- 指定URL。
- 针对指定的URL发起了一个请求。
- 获取页面数据。
- 持久化储存。

2. 爬取搜狗首页的页面数据

# 需求：爬取搜狗首页的页面数据

import urllib.request

# 1. 指定url

url = 'https://www.sogou.com/'

# 2. 发起请求：urlopen可以根据指定的url发起请求，且返回一个响应对象(byte类型)

response = urllib.request.urlopen(url)

# 3. 获取页面数据：read函数返回的就是响应对象中存储的页面数据

page_text = response.read()

# 4.  持久化存储

with open('./sougou.html','wb') as fp:

    fp.write(page_text)

    print('写入数据成功')

3. 爬取指定词条所对应的页面数据

import urllib.request

import urllib.parse

# 1. 指定url

url = 'https://www.sogou.com/web?query='

# url特性：url不可以存在非ASCII编码的字符数据

word = urllib.parse.quote('人民币')

url += word # 有效的url

# 2. 发起请求

response = urllib.request.urlopen(url=url)

# 3. 获取页面数据

page_text = response.read()

with open('rmb.html','wb') as fp:

    fp.write(page_text)

4.反爬和反反爬

反爬机制：网站检查请求的UA，如果发现UA是爬虫程序，则拒绝提供网站数据。
User-Agent(UA)：请求载体的身份标识，正常是浏览器。
反反爬机制：伪装爬虫程序请求的UA，例如伪装成谷歌浏览器或火狐浏览器的身份标识。

mport urllib.request

url = 'https://www.baidu.com/'

# UA伪装

# 1. 自制定一个请求对象

headers = {

    # 存储任意的请求头信息

    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'

}

# 该请求对象的UA进行了成功的伪装

request = urllib.request.Request(url=url,headers=headers)

# 2. 针对自制定的请求对象发起请求

reponse = urllib.request.urlopen(request)

print(reponse.read())

5. post请求

import json

import urllib.request

import urllib.parse

# 一、 指定URL

url = 'https://fanyi.baidu.com/sug'

# 对post请求携带的参数进行处理。流程：

# 1. 将请求参数封装到字典中

data = {

    'kw':'西瓜'

}

# 2. 使用parse中的urlencode进行编码处理

data = urllib.parse.urlencode(data)

# 3. 将步骤2的编码结果转换成byte类型

data = data.encode()

# 二、发起post请求：urlopen函数的data参数表示的就是经过处理之后的post请求携带的参数

response = urllib.request.urlopen(url=url,data=data)

page_text = response.read()

with open('translate.json','ab') as fp:

    fp.write(page_text)

巴特西

爬虫之urllib模块

1. urllib模块介绍

2. 爬取搜狗首页的页面数据

3. 爬取指定词条所对应的页面数据

4.反爬和反反爬

5. post请求

最新文章

热门文章