Python 网络爬虫基本概念篇
爬虫的概念
网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。这是百度百科对爬虫的定义,其实,说简单点,爬虫就是利用写好的程序自动的提取网页的信息。
爬虫的价值
抓取互联网上的数据,为自己服务,有了大量的数据,就如同有了一个数据银行一样,下一步做的就是如何将这些爬取的数据产品化,商业化。马云都说过:未来最值钱的不是房子,而是数据。所以,有了数据,就如同有了大把的财富。从就业来看,做一个爬虫工程师或者数据分析师也是不错的选择。然后,在大数据非常火热的今天(简直是火热到一种无法形容的程度了,2017年我刚高中毕业的时候好像全国开大数据专业的就30个学校左右,如今,我们台州学院今年也申请成功了。前年,我们学院合并,数信和电子合并为电子与信息工程学院,又叫大数据学院。我们一直调侃说连大数据专业都没有,还叫什么大数据学院啊。现在,我们就可以从容的说我们是大数据学院了,这听起来还是挺高大上的,哈哈),爬虫技术的应用场景会越来越多,将来肯定会有很好的发展空间。
爬虫的合法性
这个怎么说呢,技术本身是好的,它只是一个工具,但是你用来做一些违法乱纪的事情,那当然就不好了。所以,具体情况具体分析吧,你做的犯不犯法,自己心里还是得有点逼数的。
爬虫的分类
- 通用爬虫:通用爬虫是搜索引擎(Baidu、Google、Yahoo等)“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 简单来讲就是尽可能的;把互联网上的所有的网页下载下来,放到本地服务器里形成备分,在对这些网页做相关处理(提取关键字、去掉广告),最后提供一个用户检索接口。
- 聚焦爬虫:聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如:获取豆瓣上电影的名称和影评,而不是获取整张页面中所有的数据值。
- 增量式爬虫:增量式是用来检测网站数据更新的情况,且可以将网站更新的数据进行爬取。
robots协议
就是所谓的"君子协议",是一个文本格式的文件,它里面表明了哪些内容可以爬取,哪些不可以爬取.这样既可以保护隐私和敏感信息,又可以被搜索引擎收录、增加流量。
可以通过网站域名 + /robots.txt的形式访问该网站的协议详情,例如:https://www.taobao.com/robots.txt ,下面就是淘宝网的robots协议截图:
最新文章
- c++ const函数是什么意思
- StringBuffer(线程安全)StringBuilder(非线程安全)
- MVVM架构~knockoutjs系列之数组的$index和$data
- tomcat的文件路径 servelet的配置 以及maven中的WEB-INF的路径
- 【读书笔记】读《JavaScript设计模式》之工厂模式
- 在centos安装docker
- LintCode ";Expression Tree Build";
- 基于.net开发chrome核心浏览器
- Codeforces Round #259 (Div. 2) C - Little Pony and Expected Maximum
- jquery垂直公告滚动实现代码
- 配置.NET程序使用代理进行HTTP请求
- MySQL查询数据表中数据记录(包括多表查询)
- o​r​a​l​c​e​ ​D​B​A​ ​培​训_lesson06
- Eclipse的Debug调试技巧
- 深入理解javascript 匿名函数和闭包
- shell 使用变量
- C#实现二维码生成与解码
- TColor转化为字符串
- 使用IDEA 创建Servlet 的时候,找不到javax.servlet
- SSM整合AOP,日志框架和拦截器