python学习过程（四）

上节我们说了怎么从一个网页中获取所有的a标签，包括a标签的文本和a标签的url，以及最后经过整理，直接从网页中获取key-value键值对，也就是标签：url这种形式。

例如：百度： http://www.baidu.com

在此基础，我们还可以做一些模糊筛选，将我们感兴趣的所有标签查找初来，供进一步爬虫分别爬取各个页面。今天，我们就是来做的事情就是把页面中的文本内容取出来，

类似的效果比如是这样的：

下面我们就一步步来实现这个过程：

首先是我们做的事情是导入一个类工具，对应的代码可以和我照着这么写就可以了：

import urllib2

import re

from sgmllib import SGMLParser

导入了这个东西以后，我们就可以来创建我们自己的类来继承这个类，到时候里面的很多方法会很有用哦. . .

看看我们的类是什么样的：

class GetIdList(SGMLParser):  #此处定义一个自己的类，叫作GetIdList，它肯定要继承SGMLParser啦

    def reset(self):

        self.IDlist = []  #这就是最后返回给我们的结果，先是空的

        self.flag = False  #这就是一个做标记的作用，默认开始是False

        self.getdata=False  #这也是标志作用，是否开始获取数据

        self.verbatim = 0

        SGMLParser.reset(self)

    def start_div(self,attrs):  #表示遇到了一个div的开始，也就是碰到了<div>

        if self.flag == True:

            self.verbatim +=1  #进入子层div

            return

        for k,v in attrs:    #我的理解就是attrs包含了class的信息，如果是碰到了我感兴趣的，

             if k =='class' and v =='entry-content': #这里entry-content是根据自己网页改，看你自己对哪个感兴趣

                self.flag=True

                return

    def end_div(self):  #表示结束div,碰到</div>

        if self.verbatim ==0:

            self.flag=False

        if self.flag == True:

            self.verbatim -=1

    def start_p(self,attrs):  #碰到p标签开始

        if self.flag == False:

            return

        self.getdata=True   #可以获取数据

    def end_p(self):#遇到</p>     #碰到p标签结束，

        if self.getdata:

            self.getdata = False    #停止获取数据啦

    def handle_data(self, text):#处理文本

        if self.getdata:

            self.IDlist.append(text)   #把我获取到的数据加到list中

    def printID(self):   #这里就是打印出获取到的结果并返回

        for i in self.IDlist:

            print i

        return self.IDlist

类写好了，怎么去用呢？？用时需要条件嘛，现在只是一个类，我们要对它实例化，学过java的知道，我们没有对象，去new一个就可以了嘛,

有了这个类的实例，你还有给我网页的文本嘛，也就是html源码嘛，前面我们说了怎么从网络上获取html，这里我们就开头图上说的那个静态的字符串

好了，看代码怎么去操作这个html，解析出我们想要的数据：

def printText(html):

    lister = GetIdList()  #创建实例，这里可千万别说new一个

    lister.feed(html)   #提供我们的html

    l = lister.printID()  #开始打印输出吧

printText(the_page)

这样，我们就把网页中感兴趣的div内容取出了，看结果：

啊？为什么最头上的<a></a>怎么没有，而<p><a href="http://www.baidu.com">感兴趣内容里面的a标签</a></p>却有呀，

因为前面123直接在div下，而感兴趣内容里面的a标签在P标签下，仔细看我们设计的类里，因为后者在p标签下，为了也获取前者123，我们完全可以在类里加这么两个函数

来获取a标签的123，看图：

加了start_a和end_a，就可以获取到了我们div下的<a>123</a>了，那么我还想获取 <h1> 、<table> 、<ul> 、 . . . . . . 不用说了吧

接下来是不是可以获取到我感兴趣的一切啦？还在等什么，赶紧行动起来吧！！！

巴特西

python学习过程（四）

最新文章

热门文章