第14.1节 通过Python爬取网页的学习步骤
如果要从一个互联网前端开发的小白，学习爬虫开发，结合自己的经验老猿认为爬虫学习之路应该是这样的：
一、 了解HTML语言及css知识
这方面的知识请大家通过w3school 去学习，老猿对于html总结了部分基础知识内容，在《第14.2节 HTML知识简介》进行介绍，其他的大家到w3school 去学习。
二、 学习http协议相关的知识
需要了解url的构成、http协议头的结构、http协议支持的get方法等内容。这方面推荐大家学习如下老猿转发的博文：
三、 学习cookies相关知识
要登录网站爬取信息，按现在绝大多数网站的会话管理机制，cookies是必不可少的，了解cookies并利用cookies实现网站登录管理。这方面推荐大家学习如下老猿转发的博文：
四、 分析浏览器访问网站网址的过程，如是否需要先登录、是否有代理、是否多次交互等，可以通过浏览器来获取网站访问信息来分析访问过程，这个与具体要爬取的网站及爬取内容相关。老猿将介绍通过IE11及google浏览器获取网站访问信息的方法；
五、 学习Python访问web网站编程的知识，这个老猿主要介绍使用urllib模块相关方法读取网页内容；
六、 学习网页解析的方法，老猿将比较详细BeautifulSoup的使用；
七、 分析准备爬取网页内容的结构，获取网页内容后，根据爬取内容的要求针对性进行分析；
八、 分析怎么完成爬取自己感兴趣内容的http交互过程。
其中最后两步有可能是交替的，有可能爬取一个网页分析其结构解读内容，再根据解读内容爬取下一个网页。老猿将以此为主线介绍爬虫相关的知识，但第一、二步就不介绍了。
老猿Python，跟老猿学Python!
博客地址：https://blog.csdn.net/LaoYuanPython
老猿Python博客文章目录：https://blog.csdn.net/LaoYuanPython/article/details/98245036
请大家多多支持，点赞、评论和加关注！谢谢！
最新文章
- 聊聊excel生成图片的几种方式
- wpf TreeView
- 利用MVC的自定义过滤器FilterAttribute、IActionFilter、IExceptionFilter实现异常处理等功能
- C语言中的位操作（14）--反转比特位
- ECshop设置301最快捷最简单的方法
- java入门第一步之完成jdk的安装（window）【转】
- $lookup
- NET Core中使用Redis
- PowerDesigner 非数值默认值时会自动增加单引单
- linux Ubuntu安装后没有引导 解决方案
- （原创）vagrant up 异常报错，出现 There was an error while executing `VBoxManage` 的解决方法
- loadrunner打不开ie&ie默认浏览器设置方法
- [BZOJ 3209] 花神的数论题 【数位统计】
- HUST 1555 A Math Homework
- vue 修改数据界面没有及时更新nextTick
- Spring Boot 启动：No active profile set, falling back to default profiles: default
- python sqlite3 数据库操作
- JEECG 新手常见问题大全，入门必读
- mysq在某一刻同时获取主从库的位置点
- SQLServer 的存储过程与java交互