最近网上面试看到了有关这方面的问题,由于近两个月这些库或多或少都用过,现在根据自己的经验和网上介绍来总结一下。

httplib

实现了HTTP和HTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的http实现。所以效率要比这两个库高一点。http://www.cnblogs.com/beiyeren/p/4046139.html

#-*- coding:utf-8 –*-
from urlparse import urlparse
import httplib
from hds.utils import get_logger
import json
from exception import HTTPException class HttpClienttMonitor(object):
def __init__(self, logger=None):
self.logger = logger or get_logger("HttpClienttMonitor") def send_request_with_body(self, url, content, method, token):
self.logger.info("url: "+url)
self.logger.info(method+ ": "+ str(content))
assert len(url) != 0,"url is empty"
assert len(token) !=0,"token is empty"
o = urlparse(url)
content = json.dumps(content).encode('utf-8')
headers = {"Content-Type":"application/json"}
headers["Authorization"] = token
httpClient = httplib.HTTPConnection(o.hostname, o.port) try:
httpClient.set_debuglevel(0)
httpClient.request(method, o.path+"?"+o.query, content, headers)
response = httpClient.getresponse()
if not response:
return "No response from httpClient"
self.logger.info("status: "+str(response.status))
self.logger.info("reason: " + response.reason)
return response.status
except Exception as e:
raise HTTPException(e)
finally:
if httpClient:
httpClient.close() class HTTP_REQUEST_METHOD():
get = "GET"
post = "POST"
delete = "DELETE"
put = "PUT"
patch = "PATCH"
 urllib2 和urllib各有各自的特点:
  • urllib2 can accept a Request object to set the headers for a URL request,urllib accepts only a URL. That means, you cannot masquerade your User Agent string etc.

urllib2可以接受一个Request类的实例来设置URL请求的headers,urllib仅可以接受URL。这意味着,你不可以伪装你的User Agent字符串等。

  • urllib provides the urlencode method which is used for the generation of GET query strings, urllib2 doesn't have such a function. This is one of the reasons why urllib is often used along with urllib2.

urllib提供urlencode方法用来GET查询字符串的产生,而urllib2没有。这是为何urllib常和urllib2一起使用的原因。

pycurl

关于python网络编程,使用urllib与服务器通信时,客户端的数据是添加到Head里面通过URL,发送到服务器端,urllib包实现客户端上传文件时,会出现死掉的状态(实际上是超时设置问题)。
Pycurl包是一个libcurl的Python接口,它是由C语言编写的。与urllib相比,它的速度要快很多。
Libcurl 是一个支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 和 LDAP的客户端URL传输库.libcurl也支持HTTPS认证,HTTP POST,HTTP PUT,FTP上传,代理,Cookies,基本身份验证,FTP文件断点继传,HTTP代理通道等等。

class CurlTest(object):

    def post(self):
provisionContent["metadata"] = metadata b = StringIO.StringIO()
c = pycurl.Curl()
c.setopt(pycurl.VERBOSE, 1)
c.setopt(pycurl.URL, remoteServiceURL)
c.setopt(pycurl.HTTPHEADER, ["Accept: application/json",
"Content-Type: application/json"
])
    
c.setopt(pycurl.WRITEFUNCTION, b.write)
c.setopt(pycurl.FOLLOWLOCATION, 1)
c.setopt(pycurl.MAXREDIRS, 5)
c.setopt(c.POSTFIELDS, json.dumps(provisionContent))
c.perform()
print c.getinfo(c.HTTP_CODE), c.getinfo(c.EFFECTIVE_URL), c.POSTFIELDS
print b.getvalue()
self.response = eval(b.getvalue())
b.close()
c.close()

其中c.setopt(pycurl.WRITEFUNCTION, b.write) #把StringIO的写函数注册到pycurl的WRITEFUNCTION中,即pycurl所有获取的内容都写入到StringIO中,如果没有这一句,pycurl就会把所有的内容在默认的输出器中输出

pycurl常用操作如下:

pycurl.Curl() #创建一个pycurl对象的方法
pycurl.Curl(pycurl.URL, http://www.google.com.hk) #设置要访问的URL
pycurl.Curl().setopt(pycurl.MAXREDIRS, 5) #设置最大重定向次数
pycurl.Curl().setopt(pycurl.CONNECTTIMEOUT, 60)
pycurl.Curl().setopt(pycurl.TIMEOUT, 300) #连接超时设置
pycurl.Curl().setopt(pycurl.USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)") #模拟浏览器
pycurl.Curl().perform() #服务器端返回的信息
pycurl.Curl().getinfo(pycurl.HTTP_CODE) #查看HTTP的状态 类似urllib中status属性
pycurl.NAMELOOKUP_TIME 域名解析时间
pycurl.CONNECT_TIME 远程服务器连接时间
pycurl.PRETRANSFER_TIME 连接上后到开始传输时的时间
pycurl.STARTTRANSFER_TIME 接收到第一个字节的时间
pycurl.TOTAL_TIME 上一请求总的时间
pycurl.REDIRECT_TIME 如果存在转向的话,花费的时间
pycurl.EFFECTIVE_URL
pycurl.HTTP_CODE HTTP 响应代码
pycurl.REDIRECT_COUNT 重定向的次数
pycurl.SIZE_UPLOAD 上传的数据大小
pycurl.SIZE_DOWNLOAD 下载的数据大小
pycurl.SPEED_UPLOAD 上传速度
pycurl.HEADER_SIZE 头部大小
pycurl.REQUEST_SIZE 请求大小
pycurl.CONTENT_LENGTH_DOWNLOAD 下载内容长度
pycurl.CONTENT_LENGTH_UPLOAD 上传内容长度
pycurl.CONTENT_TYPE 内容的类型
pycurl.RESPONSE_CODE 响应代码
pycurl.SPEED_DOWNLOAD 下载速度
pycurl.SSL_VERIFYRESULT
pycurl.INFO_FILETIME 文件的时间信息
pycurl.HTTP_CONNECTCODE HTTP 连接代码
pycurl.HTTPAUTH_AVAIL
pycurl.PROXYAUTH_AVAIL
pycurl.OS_ERRNO
pycurl.NUM_CONNECTS
pycurl.SSL_ENGINES
pycurl.INFO_COOKIELIST
pycurl.LASTSOCKET
pycurl.FTP_ENTRY_PATH

 

最新文章

  1. C#基础-MD5验证
  2. getPhysicalNumberOfCells 与 getLastCellNum的区别
  3. PHP面向对象之魔术方法复习
  4. oracle学习笔记系列------oracle 基本操作之表的增删改查
  5. 修改easyui中datagrid表头和数据不能分开对齐的BUG。
  6. (Factory method)工厂方法设计模式
  7. Linux: .vimrc
  8. 注解配置springMvc及向作用域中赋值
  9. vi或vim快捷键
  10. PHP数组foreach后使用current取值的问题
  11. Binary Watch
  12. 每天一个Linux命令(06)--rmdir命令
  13. Android开发Toast Notifications
  14. leecode第五十四题(螺旋矩阵)
  15. 日期处理相关 - “Fri Dec 11 00:00:00 CST 2015”日期格式解析
  16. 解决sea_born和matplotlib画图中文显示的问题
  17. Android adb shell data目录,Permission denied
  18. tcpdump 和 wireshark 的实用例子
  19. 自己写的一个小的剪刀——石头——布游戏的GUI程序
  20. 【转载】shell实例手册

热门文章

  1. KMP算法的next[]数组通俗解释
  2. HDU 1030(三角数阵 数学)
  3. Eclipse使用Maven搭建Java Web项目,并直接部署Tomcat
  4. python里的input
  5. github下载更新代码到本地
  6. 【一】java 虚拟机 监控示例 Eclipse Memory Analyser
  7. Mono.Cecil
  8. GCC编译器原理(一)------GCC 工具:addr2line、ar、as、c++filt和elfedit
  9. 双系统中卸载Ubuntu后又efi系统分区删除方法
  10. web api HttpResponseMessage的简单使用