Python requests 安装与开发

Requests 是用Python语言编写HTTP客户端库，跟urllib、urllib2类似，基于 urllib，但比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求，编写爬虫和测试服务器响应数据时经常会用到。

Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner，更重要的一点是它支持 Python3

Beautiful is better than ugly. (美丽优于丑陋)
Explicit is better than implicit. (清楚优于含糊)
Simple is better than complex. (简单优于复杂)
Complex is better than complicated. (复杂优于繁琐)
Readability counts. (重要的是可读性)

Requests 官网：

https://pypi.python.org/pypi/requests

安装 Requests

方式1）pip 安装

pip install requests # python2.7
pip3 install requests # python3.6

方式2）源码安装

下载 requests-2.18.2.tar.gz

解压安装：

tar zxvf requests-2.18.2.tar.gz
cd requests
python setup.py install

验证安装：

$ python

Python 2.7.13 (v2.7.13:a06454b1afa1, Dec 17 2016, 12:39:47)

[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin

Type "help", "copyright", "credits" or "license" for more information.

>>> import requests

>>> requests

<module 'requests' from '/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/requests/__init__.pyc'>

使用 Requests

requests 封装了Python的urlib和urllib2，所以爬取网页非常简洁

1. 爬取网页

import requests

# 爬取米扑科技首页

req = requests.get(url = 'http://mimvp.com')

print("status_code : " + str(req.status_code))

print("mimvp text : " + req.text)

# 爬取米扑代理（含请求参数）

req = requests.get(url='http://proxy.mimvp.com/free.php', params={'proxy':'out_tp','sort':'p_ping'})

print("status_code : " + str(req.status_code))

print("mimvp text : " + req.text)

爬取网页非常简洁吧，Python urllib 三行代码，requests只需要一行代码搞定

urllib ： urllib.urlopen('http://mimvp.com').read()

urllib2： urllib2.urlopen('http://mimvp.com').read()

或者

import urllib2

req = urllib2.Request('http://mimvp.com')

res = urllib2.urlopen(req)

page = res.read()

requests 接口格式：

requests.get('https://mimvp.com/timeline.json')    # GET请求

requests.post('http://mimvp.com/post')            # POST请求

requests.put('http://mimvp.com/put')              # PUT请求

requests.delete('http://mimvp.com/delete')        # DELETE请求

requests.head('http://mimvp.com/get')             # HEAD请求

requests.options('http://mimvp.com/get')          # OPTIONS请求

requests 接口示例：

import requests

requests.get('http://mimvp.com', params={'love': 'mimvp'})    # GET参数实例

requests.post('http://mimvp.com', data={'love': 'mimvp'})     # POST参数实例

Requests 设置代理

#!/usr/bin/env python

# -*- encoding: utf-8 -*-

#

# Python requests 支持 http、https、socks4、socks5

#

# 米扑代理示例：

# http://proxy.mimvp.com/demo2.php

#

# 米扑代理购买：

# http://proxy.mimvp.com

#

# mimvp.com

# 2016-09-16

import requests

import ssl

import socks, socket    # 需要引入socks.py文件，请到米扑代理下载

mimvp_url = "http://proxy.mimvp.com/exist.php"

mimvp_url2 = "https://proxy.mimvp.com/exist.php"

mimvp_url3 = "https://apps.bdimg.com/libs/jquery-i18n/1.1.1/jquery.i18n.min.js"

# 使用代理 http, https

proxies = {

            "http"  : "http://120.77.155.249:8888",

            "https" : "http://54.255.211.38:80",

           }   

req = requests.get(mimvp_url2, proxies=proxies, timeout=30, verify=False)

print("mimvp text : " + req.text)

# 使用代理 socks4

proxies = {

            'socks4' : '163.121.188.2:4000',

           }   

socks4_ip = proxies['socks4'].split(":")[0]

socks4_port = int(proxies['socks4'].split(":")[1])

socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS4, socks4_ip, socks4_port)

socket.socket = socks.socksocket

req = requests.get(mimvp_url2, timeout=30, verify=False)

print("mimvp text : " + req.text)

# 使用代理 socks5

proxies = {

            'socks5' : '190.9.58.211:45454',

           }   

socks5_ip = proxies['socks5'].split(":")[0]

socks5_port = int(proxies['socks5'].split(":")[1])

socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, socks5_ip, socks5_port)

socket.socket = socks.socksocket

req = requests.get(mimvp_url2, timeout=30, verify=False)

print("mimvp text : " + req.text)

本示例采用的米扑代理，支持 http、https、socks4、socks5等多种协议，覆盖全球120多个国家，中国34个省市

推荐米扑代理： http://proxy.mimvp.com

参考推荐：

Python pyspider 安装与开发

Python3 urllib 用法详解

PhantomJS 安装与开发

Node.js 安装与开发

Node.js SuperAgent 安装与开发

巴特西

Python requests 安装与开发

最新文章

热门文章