Spider-two
一、网络数据加密:
1. md5 / sha1 不可逆加密算法: 结果是十六进制数, 结果不可逆, 多用于文件验证
import hashlib
md5_obj = hashlib.md5()
sha1_obj = hashlib.sha1()
md5_obj.update("非Unicode字符串")
sha1_obj.update("非Unicode字符串")
md5_obj.hexdigest()
sha1_obj.hexdigest()
2. base64 : 可逆的一种编码方式, 大概样式为: 大小写混合, 斜杠, 最后是等号
import base64
b64data = base64.b64encode() # 对字符串 或 文件数据进行编码
base64.b64decode(b64data) # 对base64数据解码,复原回原本的数据
3. rsa 非对称加密 /aes 对称加密
客户端和服务器端数据加密: 公钥和私钥
4. Unix 时间戳
表示 从 1970年1月1日到现在的总秒数,通常有两种值:
10 位: 单位是秒; 13 位 :单位是毫秒。
秒: int(time.time())
毫秒: int(time.time() * 1000)
二、Requests模块有两种发送请求的方式:
# 普通请求发送方式,不会保存Cookie
requests.get()
requests.post()
# 创建一个可以保存Cookie 的 session对象
ssion = requests.session()
# 通过session对象发送请求,可以记录并传递Cookie
ssion.get()
ssion.post()
三、爬虫的标准模拟登录流程:
模拟登录的目的:为了登录成功并保存Cookie,再用于发送其他需要登录后才能访问的页面请求。
1. 发送登录页面的 get 请求,获取登录参数
2. 发送登录的 post 请求,提交登录参数 和 账户密码,实施模拟登录(如果登录成功则记录Cookie)
3. 附带登录的Cookie,发送其他页面的请求,提取需要的数据。
模拟登录实际开发很少使用(通过Cookie池代理),但是面试会经常问。
代理: 浏览器插件使用代理时, 会弹窗提示需要提供账号密码, 而代码中若没有提供会提示 407错误(requests默认没有使用代理); 免费代理, 无需账号&密码
三、HTML DOM 是HTML的树形结果概念。
HTML
head body
title a p div br 属性值、文本内容、href、 src
meta
lxml/ XPATH
四、XPATH 提取数据定律:
1. xpath表达式的匹配结果,一定是一个列表
匹配成功返回所有数据的列表,没有匹配成功返回空列表
2. xpath表达式提取的数据(属性值字符串、文本值字符串),结果一定是一个Unicode字符串, 注意网页标签中的双引号 空格
url_list = xpath("//div[@id='u1']/a/@href")
text_list = xpath("//div[@id='u1']/a/text()")
3. 如果没有提取数据,返回所有标签结点的对象(Element对象),该对象可以继续调用xpath向下取值。
a_list = xpath("//div[@id='u1']/a")
item_list = []
for a in a_list:
item = {}
item['text'] = a.xpath("./p/text()")[0]
try:
item['src'] = a.xpath("./img/@src")[0]
except:
item['src'] = None
item['src'] = a.xpath("./img/@src")[0] if a.xpath("./img/@src") else None
item_list.append(item) # [{}, {}, {}, {}]
栗子: div//a div下的第二个标签, Xpath语法下标从1开始
xpath : XML Path Language,是一种专门提取xml文档数据的语法。
html : 网页字符串,字符串本身不支持xpath提取数据,所以需要通过lxml转换
lxml : 作用是将html字符串,转换为可以调用xpath方法的 对象lxml.ElementTree
使用xpath取值时, 大型网站会根据不同浏览器返回不同网页内容(依据User-Agent区分), chrome浏览器返回的内容会放在注释中, IE浏览器不会。
# BeautifulSoup4、Pyquery
# 从lxml类库中,导入 etree模块
from lxml import etree
html = requests.get(url).content
# etree模块有个HTML类,接收网页字符串,并返回一个 DOM 对象
html_dom = etree.HTML(html)
# 读取本地文件,并转为 HTML DOM对象
#html_dom = etree.parse("./baidu.html")
# 将DOM对象复原回网页字符串
#html = etree.tostring(html_dom)
# DOM对象可以调用xpath方法,提取网页的数据
url_list = html_dom.xpath("//div[@id='u1'][1]/a/@href")
五、正则
import re
re.match() : 从字符串的第一个字符开始匹配,如果匹配成功返回Match对象,该对象可以通过 group()提取数据。如果第一个字符不符合匹配,则返回 None
re.search():从字符串的第一个字符开始匹配,如果匹配成功返回Match对象,该对象可以通过 group()提取数据。如果第一个字符不符合匹配,继续从第二个开始,直到最后一个字符为止,如果一种没有匹配,则返回 None
注:match 和 search 都只匹配一次
re.findall() : 返回字符串里所有符合匹配的结果,如果匹配成功,返回列表;如果不成功,返回空列表
re.sub("re表达式", "字符串", "替换后的字符") : sub替换字符串指定字符,替换后返回一个新字符
re.split() : 对字符串按指定字符进行分隔,返回分隔后的列表
str <-> list
list = str.split()
str = "".join(list)
str.replace()
str.find()
re.findall(r"\d+", html)
re.findall(r"\d+", html)
pattern = re.compile(r"\d+")
pattern.findall(html)
pattern.findall(html)
r"\d+\n\t":r 忽略Python字符串里的转义字符
import json
# 将python对象转为json字符串
json_str = json.dumps(python_obj)
# 将json字符串转为python对象
python_obj = json.loads(json_str)
# 将python对象转为json字符串 并保存到 文件中
json.dump(python_obj, open("xxx.json", "w"))
# 读取文件的json字符串,并转为对应的Python对象
python_obj = json.load(open("xxx.json", "r"))
最新文章
- construction const parameter问题 构造函数const引用参数问题
- 学习JVM--垃圾回收(一)原理
- iOS - 消息转发处理
- PostGr-SQL 基本概念
- Oracle数据库体系结构、启动过程、关闭过程
- nginx安装配置+清缓存模块安装
- mysql的sql_mode 模式修改 my.cnf
- 九宫格抽奖HTML+JS版
- 改变placeholder颜色
- 各操作系统配置java环境变量
- Eclipse搭建Android5.0应用开发环境 “ndk-build”:launchingfailed问题解决
- ascii codec can&#39;t decode byte 0xe8 in position 0:ordinal not in range(128)
- ListView中EditText的数据加载错乱的问题
- HDU_2544——最短路,Dijkstra模版
- 腾讯云无法绑定公网IP问题解释与解决方案。
- fast ai-lesson 1 报错解决方法(正则表达式提取文件名)
- SQLSERVER 查询系统中的所有表的数量
- python 练习题(1-15)
- lucene-solr本地调试方法
- A网站访问B网站,跨域问题
热门文章
- Ubuntu18.04搭建nodejs环境
- [Swift]JSON字符串与字典(Dictionary)、数组(Array)之间的相互转换
- 使用pyenv与pyenv-virtualenv管理Python版本与虚拟环境
- jquery.jtable的事件
- ionic2 关于启动后白屏问题跟app启动慢的问题
- sql server 性能调优之 资源等待之网络I/O
- Spring概况(一)
- maven 聚合工程 用spring boot 搭建 spring cloud 微服务 模块式开发项目
- Go基础系列:为select设置超时时间
- Redis持久化及其配置