Python爬虫(一):基本概念
网络爬虫的定义
URL概念
打开网页的过程事实上就是浏览器作为一个浏览的“client”,向server端发送了 一次请求,把server端的文件“抓”到本地,再进行解释、展现。HTML是一种标记语言。用标签标记内容并加以解析和区分。浏览器的功能是将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的站点页面。
Web上每种可用的资源,如 HTML文档、图像、视频片段、程序等都由一个通用资源标志符(Universal Resource Identifier, URI)进行定位。 URI通常由三部分组成:
①訪问资源的命名机制;
②存放资源的主机名。
③资源自身 的名称。由路径表示。
如URI:http://www.baidu.com.cn/myhtml/html1223/,我们能够这样解释它:
①这是一个能够通过HTTP协议訪问的资源,
②位于主机www.baidu.com.cn上,
③通过路径“/html/html40”訪问。
通俗地说。URL是Internet上描写叙述信息资源的字符串,主要用在各种WWW客户程序和server程序上。採用URL能够用一种统一的格式来描写叙述各种信息资源,包含文件、server的地址和文件夹等。
1.HTTP协议的URL演示样例:
使用超级文本传输协议HTTP,提供超级文本信息服务的资源。
例:http://www.peopledaily.com.cn/channel/welcome.htm
其计算机域名为www.peopledaily.com.cn。
超级文本文件(文件类型为.html)是在文件夹 /channel下的welcome.htm。
这是中国人民日报的一台计算机。
例:http://www.rol.cn.net/talk/talk1.htm
其计算机域名为www.rol.cn.net。
超级文本文件(文件类型为.html)是在文件夹/talk下的talk1.htm。
这是瑞得聊天室的地址,可由此进入瑞得聊天室的第1室。
2.文件的URL
用URL表示文件时。server方式用file表示,后面要有主机IP地址、文件的存取路 径(即文件夹)和文件名称等信息。
有时能够省略文件夹和文件名称。但“/”符号不能省略。
例:file://ftp.yoyodyne.com/pub/files/foobar.txt
上面这个URL代表存放在主机ftp.yoyodyne.com上的pub/files/文件夹下的一个文件,文件名称是foobar.txt。
例:file://ftp.yoyodyne.com/pub
代表主机ftp.yoyodyne.com上的文件夹/pub。
例:file://ftp.yoyodyne.com/
代表主机ftp.yoyodyne.com的根文件夹。
最新文章
- 如何使用 Entity Framework 构造动态查询表达式
- 细数Javascript技术栈中的四种依赖注入
- JSP 基础语法
- #import、#include以及@class的区别
- SQL Server里因丢失索引造成的死锁
- innerHtml and Jquery.html()
- Jenkins进阶系列之——12详解Jenkins节点配置
- HTTP协议 流程图
- 适配iOS7uinavigationbar遮挡tableView的问题
- Hibernate 、Hql查询和Criteria查询
- hdu-4302-Holedox Eating-线段树-单点更新,有策略的单点查询
- PHP - 接口 - 多接口
- HDU4911-Inversion(树状数组)
- hdoj 2602 Bone Collector 【01背包】
- iosiOSlabel基本使用以及文字自适应
- Python 关于字符串处理技巧
- Swing-JMenu菜单用法-入门
- ES6模块化
- 利用sshtunnel实现跳板机的效果[嵌套ssh实现]
- EditText 数字范围 检查string 是不是数字