Python文本爬虫实战

转载请注明原文地址：http://www.cnblogs.com/ygj0930/p/7019950.html

一：流程

目标：爬取目标网页的图片

1：获取网页源码

2：用Python读取源码

3：使用正则表达式从网页源码提取图片地址

4：根据图片地址下载图片

二：实现

1：源码获取

文本爬虫，是在已有的文本内容中爬取需要的信息，这区别于网络爬虫。

由于被检索的内容是现成的，因此，文本爬虫又叫“半自动爬虫”。

在本例中，我们以昵图网首页为目标网址，因此，我们先到昵图网首页，右键—>查看源代码—>保存源码到txt文件。

2：编写代码

#coding:utf8

import re

import requests

#1：读取文本文件，存到一个变量中

f=open("src.txt","r+")

htmls=f.read()

f.close()

#2:使用正则表达式，从独取出来的文本内容中进行提取

img_url=re.findall('<img src="(.*?)"',htmls,re.S)

#3：遍历正则表达式的匹配结果，使用requests模块功能连接图片并通过文件写操作把图片保存下来

i=1;

for each in img_url:

    #连接到图片

    img=requests.get(each)

    #创建图片文件

    fp=open('img'+str(i)+'.jpg',"wb")

    #把链接到的图片内容写入文件

    fp.write(img.content)

    #关闭文件

    fp.close()

    i=i+1

巴特西

Python文本爬虫实战

最新文章

热门文章