适合新手的Python爬虫小程序
介绍:此程序是使用python做的一个爬虫小程序 爬取了python百度百科中的部分内容,因为这个demo是根据网站中的静态结构爬取的,所以如果百度百科词条的html结构发生变化 需要修改部分内容。词条链接 http://baike.baidu.com/item/Python
逻辑步骤:1.主程序部分,主要初始化程序中需要用到的各个模块分为(1)链接管理模块。 (2)链接下载保存模块 (3)解析网页模块 (4)输出解析内容模块,然后就是写抓取网页内容的方法。
下边为爬取方法代码:
def craw(self, root_url): #抓取网页
count = 1
self.urls.add_new_url(root_url)
while self.urls.has_new_url(): #判断是否有新的网页抓取
try:
new_url = self.urls.get_new_url() #获取新的url
print "craw %d : %s"%(count,new_url)
html_cont = self.downloader.download(new_url)#获取新网页的链接
new_urls,new_data=self.parser.parse(new_url,html_cont) #解析网址和网址内容
self.urls.add_new_urls(new_urls) #url放入管理器
self.outputer.collect_data(new_data) #网页数据收集
if count == 30:
break
count +=1
except:
print 'craw failed'
self.outputer.output_html()
2.链接管理模块 中实现四个方法a.向存储链接的表中添加需要爬取的新的链接add_new_url b. 批量添加新链接 add_new_urls c.判断链接表中是否有待爬取的新链接has_new_url d.取一个待爬取的新链接 并将这个链接从链接表中移除(防止重复爬取相同内容)get_new_url
部分代码:
def add_new_url(self,url): #添加一个新的url
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url) def add_new_urls(self,urls): #批量添加url
if urls is None or len(urls) == 0:
return
for url in urls:
self.add_new_url(url) def has_new_url(self): #判断是否有新的待取的url
return len(self.new_urls) !=0 def get_new_url(self): #取一个待爬取的url
new_url = self.new_urls.pop() #取一个url并将其移除
self.old_urls.add(new_url)
return new_url
3.链接下载模块
使用urllib2进行需要爬取的链接的下载 (文末附上urllib2开发文档链接)
def download(self,url): #使用urllib2获取网页链接
if url is None:
return None
response = urllib2.urlopen(url) if response.getcode()!=200: #判断请求是否成功
return None
return response.read()
4.网页解析模块
网页解析使用beautifulsoup4库进行操作(文末附上beautifulsoup4开发文档链接)
def _get_new_urls(self, page_url, soup): #获取新的网址
new_urls = set()
links = soup.find_all('a',href= re.compile(r'/item/'))
for link in links:
new_url = link['href'] #因为词条网址分成了两段所以这里需要将其拼接
new_full_url = urlparse.urljoin(page_url,new_url)
new_urls.add(new_full_url) #将完整网址添加到网址列表中
return new_urls def _get_new_data(self, page_url, soup): #获取新的网址中内容
res_data = {} #url
res_data['url']=page_url #<dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1> title_node = soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")
res_data['title']=title_node.get_text() #<div class="lemma-summary"
summary_node = soup.find('div',class_="lemma-summary")
res_data['summary']=summary_node.get_text() return res_data
5.输出内容
将爬取的内容以html形式保存在本地(代码成功运行后再工程project下刷新会有一个html文件)
def output_html(self):
fout = open('output.html','w')
fout.write("<html><meta charset=\"utf-8\" />")
fout.write("<body>")
fout.write("<table>") #ascii
for data in self.datas:
fout.write("<tr>")
#fout.write("<td>%s</td>" % data['url'])
fout.write("<td>%s</td>" % data['title'])
fout.write("<td>%s</td>" % data['summary'])
fout.write("</tr>") fout.write("</table>")
fout.write("</body>")
fout.write("</html>") fout.close()
PS:urllib2开发文档:https://docs.python.org/2/howto/urllib2.html
beautifulsoup4开发文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/点击打开链接
教程视频连接:http://www.imooc.com/learn/563
demo项目:csdn下载频道http://download.csdn.net/detail/th226/9914405
最新文章
- Python文件读写
- ACM/ICPC 之 Dinic+枚举最小割点集(可做模板)(POJ1815)
- 2014中国黑客榜(beta版)
- Web API配置自定义路由
- iOS 8 WKWebView
- flume学习
- android: 播放音频
- Swift - 初次使用:
- pt-online-schema-change原理解析 博客相关需要阅读
- hdu 4630 树状数组
- JAVA_java关联源码
- windows新的数据类型
- .net如何后台批量删除
- jQuery选择器课堂随笔
- linux下面调试C、C++
- QLayout删除所有布局
- Python语法的转义字符
- centos6.5下安装mysql5.6
- 《算法》第四章部分程序 part 18
- jquery.cookie.js结合asp.net实现最近浏览记录