urllib库:分析Robots协议
2024-09-04 22:57:56
1from urllib.robotparser import RobotFileParser
2import ssl
3from urllib.request import urlopen
4ssl._create_default_https_context = ssl._create_unverified_context
5
6rp = RobotFileParser()
7rp.set_url('http://www.jianshu.com/robots.txt')
8rp.read()
9print(rp.can_fetch('*', 'http://www.jianshu.com/p/b6755402d7d'))
10print(rp.can_fetch('*', 'http://www.jianshu.com/search?q=python&page=1&type=note'))
parse()读取分析
1rp = RobotFileParser()
2rp.parse(urlopen('http://www.jianshu.com/robots.txt').read().decode('utf-8').split('\n'))
`
最新文章
- vs13的内存占用 关闭之
- 用Python给你的博客加上水印
- 使用FMDB事务批量更新数据库
- 20. 求阶乘序列前N项和
- AIX 添加开机启动项
- bc命令详解与实例
- Android Broadcaset 简介
- Yoga安装Ubuntu后,wifi和亮度调节问题
- 第03讲- 第一个Android项目
- jbpmAPI-7
- JS的DOM操作及动画
- jquery实现上传图片本地预览效果
- java并发之读写锁ReentrantReadWriteLock的使用
- 基于redis的分布式锁(转)
- Xamarin + MvvmCross 简单事例 Part 2
- BZOJ1975 [Sdoi2010]魔法猪学院 k短路
- 关于表单----html杂记
- A guess 解题报告
- BOM介绍
- 【原创】CRM 2015/2016,SSRS 生成PDF文件,幷以附件的形式发送邮件
热门文章
- wx小程序知识点(一)
- @ApiParam和@RequestHeader接收参数的区别
- 理解ext文件系统
- HDU 6155 Subsequence Count (DP、线性代数、线段树)
- Unity3D_(API)射线检测Raycast()
- 暂时跳过的Leetcode题目
- Xcode 4.1实用小工具:模拟网络连接和带宽
- Js基础知识(一) - 变量
- SQLite 数据类型与C#数据类型对应表
- 一、基础篇--1.1Java基础-Object类中常见的方法,为什么wait notify会放在Object里边