Python3.0版本 从听说python可以做爬虫到自己第一成功做出爬虫的经历
前言
我自己是个python小白,工作也不是软件行业,但是日常没事时喜欢捣鼓一些小玩意,自身有点C语言基础。
听说python很火,可以做出爬虫去爬一些数据图片视频之类的东东,我的兴趣一下子就来了。然后,开始了不归路,各种百度,各种实验。。。
最终的代码环境是安装了python 3.7,安装了PyCharm代码工具,别问我为啥选PyCharm,我也不知道,用着非常顺手不是吗。
当我开始写代码时,找了好多帖子去借鉴尝试,发现python2.0和3.0语法,所用模块等不一样,所以先说好,这个随笔的python版本是3.7的,不属于2.0版本。
这次爬虫的网站是百度贴吧,壁纸吧里的图片,可以打开下面的网址,然后随意选个帖子。
https://tieba.baidu.com/f?ie=utf-8&kw=%E5%A3%81%E7%BA%B8&fr=search
先说下写爬虫的步骤:1.发送网页请求 2.获取响应内容 3.解析网页内容 4.保存数据
第一步是发送请求和响应内容这两个最基本的操作:
要用到urllib.request这个模块,直接开头import就好,python自带的,上代码:
#! /usr/bin/env python
# -*- coding: utf-8 -*-
import re,os,urllib.request,datetime #url='https://tieba.baidu.com/p/6091256278'
def open_url(url):
req=urllib.request.Request(url)
req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64)AppleWebKit/537.36 (KHTML, like Gecko)\
Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
response=urllib.request.urlopen(req).read()
return response
#print(open_url(url))
请忽略import的其他模块,下面再讲。这个请求非常标准了,模拟用户的请求,所有的爬虫都适用。add.header函数模拟了用户,防止服务器拒绝请求。
复制这段,去掉第5,第12行的#号,可以运行处结果。结果如下:
恩,没错就是这一堆乱码“源代码”。这是跟你在浏览器右键然后查看源代码的结果是一样的,只是这个更原始,没有转码,转码后会有汉字,稍微认识几个,但是也看不懂。
第二步说解析内容,这个比较重要,又非常复杂难懂的操作,上代码:
这里用到了re,os模块,之前import过的,文件操作模块,有兴趣百度多了解下,我也只是用能用到的几个函数。
def find_img(url):
html=open_url(url).decode('utf-8')
p=r'<img class="BDE_Image" src="([^"]+\.jpg)"'
img_addrs=re.findall(p,html) for each in img_addrs:
print(each)
for each in img_addrs:
file=each.split("/")[-1]
with open(file,"wb") as f:
img=open_url(each)
f.write(img)
第2行是源代码utf-8解码,结果是会有汉字,没有符号乱码了。
第3行是正则表达式,这是复杂的关键点,这个正则也是网络里找到的,用来匹配图片的地址,不多说,也说不出来,百度一下会教你如何放弃学习它,除非你是大神。
接着finall函数,在html的源代码里找符合正则表达式图片的网络地址,然后就是遍历下载下来。
最后一步使用with..open..as模式下载图片,放到文件夹里。
这里用到了datetime模块,用来获得系统的时间,然后我稍作处理一下,来以时间命名文件夹的名字,
def get_img():
t1 = str(datetime.datetime.now())
t = t1.replace(":", "-").replace(" ", "-")[0:19]
p = "D:\TieBaPic-" + t
os.mkdir(p)
os.chdir(p)
find_img(url)
单独运行第2,3,4行,得到结果是:在D盘生成一个名字如下的文件夹,里面就是上一步下载的图片,名字会根据时间来定,不会重复。
D:\TieBaPic-2019-04-11-16-50-33
第5,6行用到了os模块的两个函数,用来组合建立文件夹。
最后加上启动语句,就可以尝试爬虫了。
if __name__ =="__main__":
url='https://tieba.baidu.com/p/6091256278'
get_img()
这个双下划线的name函数,是一个变量,用来执行本程序的main,区别于import的模块,只有主程序是main,其他的都是导入的名字,并且
main是调用其他模块的关系,理解就行,没那么多讲究。
把所有的代码串起来就是完整的代码,运行结果如下:
有些图片不太适合我们好学的氛围就P掉了。
以上就是我第一次的爬虫全过程,成功的爬出了图片,心里还是美滋滋的。
现在正在着手给python加个界面运行,等好了,发个随笔记录一下。
最新文章
- [LeetCode] Group Shifted Strings 群组偏移字符串
- ASP.NET 系统对象 Request(一)
- JS实时定位
- ZendStudio如何汉化
- TCP状态转移图学习总结
- ios - 图片自动轮播定时器(NSTimer)以及消息循环模式简介
- HDU 1240 (简单三维广搜) Asteroids!
- vim 支持 markdown 语法
- MAC OS Nginx php-fpm相关
- HTML---网页编程(1)
- Alert方法重写
- Kotlin Vertx
- 通过私有协议Chrome浏览器页面打开本地程序
- spice up your desktop
- 高级组件——表格JTable
- .net中 登录 才能下载文件的方法 Response.WriteFile实现下载
- [No000014D]chrome console 调试 引入 jquery等外部库
- 关于java 操作linux命令的 一些相关
- JPA使用指南 javax.persistence的注解配置
- Ubuntu下的计算器