爬虫学习--Day4(小猿圈爬虫开发

requests模块
    - urllib模块
    - requests模块

requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。
作用：模拟浏览器发送请求。

如何使用：（requests模块的编码流程）
    - 指定url
    - 发起请求
    - 获取响应数据
    - 持久化存储

环境的安装：
    pip install requests

实战编码：
    - 需求：爬取搜狗首页页面的数据

 # coding=gbk

 #Created on 2019/7/7

 #@author: XiaoHu

 # 需求：爬取搜狗首页的页面数据

 import requests

 if __name__ == "__main__":

     #step_1 指定url

     url = 'https://www.sogo.com/'

     #step_2 发起请求

     #get方法会返回一个响应对象

     response=requests.get(url=url)

     #step_3 获取响应数据.text返回的是字符串形式的响应数据

     page_text=response.text

     print(page_text)

     #step_4 持久化存储

     with open('./sogo.html','w',encoding='utf-8') as fp:

         fp.write(page_text)

     print('爬取数据结束！！！！！！')

巴特西

爬虫学习--Day4(小猿圈爬虫开发_2)

最新文章

热门文章