功能

自己主动获取CSDN文章列表,并对每篇文章添加点击量.

源代码

import urllib.request
import re
import time
import random
from bs4 import BeautifulSoup p = re.compile('/a359680405/article/details/........') #自己的博客主页
url = "http://blog.csdn.net/a359680405" #使用build_opener()是为了让python程序模仿浏览器进行訪问
opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')] html = opener.open(url).read().decode('utf-8') allfinds = p.findall(html)
print(allfinds) urlBase = "http://blog.csdn.net"#须要将网址合并的部分
#页面中的网址有反复的,须要使用set进行去反复
mypages = list(set(allfinds))
for i in range(len(mypages)):
mypages[i] = urlBase+mypages[i] print('要刷的网页有:')
for index , page in enumerate(mypages) :
print(str(index), page) #设置每一个网页要刷的次数
brushMax = 200 #全部的页面都刷
print('以下開始刷了哦:')
for index , page in enumerate(mypages) :
brushNum=random.randint(0,brushMax)
for j in range(brushNum):
try :
pageContent = opener.open(page).read().decode('utf-8')
#使用BeautifulSoup解析每篇博客的标题
soup = BeautifulSoup(pageContent)
blogTitle = str(soup.title.string)
blogTitle = blogTitle[0:blogTitle.find('-')]
print(str(j) , blogTitle) except urllib.error.HTTPError:
print('urllib.error.HTTPError')
time.sleep(1)#出现错误。停几秒先 except urllib.error.URLError:
print('urllib.error.URLError')
time.sleep(1)#出现错误,停几秒先
time.sleep(0.1)#正常停顿,以免server拒绝訪问


最新文章

  1. ASP.NET MVC5----常见的数据注解和验证
  2. Arch Linux 安装博通 BCM4360 驱动(Arch Linux, Ubuntu, Debian, Fedora...)
  3. Tools - 常用搜索引擎命令
  4. 【python cookbook】【字符串与文本】13.对齐文本字符串
  5. mac终端下运行shell脚本
  6. Mvc 6 中创建 Web Api
  7. Javascript-正则表达式-开发中的使用.
  8. Outlook邮箱配置
  9. 扒一扒.NET Core的环境配置提供程序
  10. mac下Android开发环境的配置
  11. python使用sax实现xml解析
  12. GET和POST传输方式
  13. Vue.js项目集成ElementUI
  14. esxtop 指标%RDY,NUMA,Wide-VMs
  15. git经常使用命令和问题
  16. linux如何通过脚本来修改用户的密码?脚本自动化修改用户密码?
  17. oracle常用数据类型说明
  18. Oracle创建数据库链接
  19. HTML 视频(Videos)
  20. Callable、Future&阻塞队列&阻塞栈

热门文章

  1. SQL Profile 总结(一)
  2. android GestureDetector 手势的判断
  3. JSON格式的各种转换
  4. SpringMvc之@RequestParam详解
  5. 内容提供者 ContentResolver 数据库 示例 -1
  6. Entity Framework 4.1 绕过 EF 查询映射
  7. OD: First Step
  8. (转)asp.net注册实现下一步
  9. 关于html控件和服务器控件摁回车后提交按钮的问题
  10. Oracle 如何让别人能够连接到你的数据库