IO 多路复用

作用: 检测多个socket是否已经发生变化(是否已经连接成功/是否已经获取数据) 即(可读/可写)

IO请求时

解决并发 : 单线程

def get_data(key):

    client = socket.socket()

    #  与百度创建连接

    client.connect(("www.baidu.com",80))

    # 给百度发送数据, 告诉百度我要什么

    client.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')

    # 等百度给我返回我要的结果

    chunk_list = []

    while True:

        """

        循环接收

        """

        chunk = client.recv(8096)

        if not chunk:

            break

        chunk_list.append(chunk)

    boby = b"".join(chunk_list)

    print(boby.decode("utf8"))

key_list = ["alex","db","sb"]  # 要搜索的内容

for item in key_list:

    get_data(item)

例子

解决并发: 多线程 , 但是需要等待 , CPU容易闲置 ,浪费资源

import threading

import socket

def get_data(key):

    client = socket.socket()

    #  与百度创建连接

    client.connect(("www.baidu.com",80))

    # 给百度发送数据, 告诉百度我要什么

    client.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')

    # 等百度给我返回我要的结果

    chunk_list = []

    while True:

        """

        循环接收

        """

        chunk = client.recv(8096)

        if not chunk:

            break

        chunk_list.append(chunk)

    boby = b"".join(chunk_list)

    print(boby.decode("utf8"))

key_list = ["alex","db","sb"]  # 要搜索的内容

for item in key_list:

    t = threading.Thread(target=get_data,args=(item,))

    t.start()

例子

这时我们就可以用 IO多路复用 , 单线程不等待解决 ,

import socket

import select

client1 = socket.socket()

client1.setblocking(False)  # 与服务器创建连接时 不阻塞

try:

    client1.connect(("www.baidu.com",80))

except BlockingIOError as e:

    pass

client2 = socket.socket()

client2.setblocking(False)  # 与服务器创建连接时 不阻塞

try:

    client2.connect(("www.sogou.com",80))

except BlockingIOError as e:

    pass

client3 = socket.socket()

client3.setblocking(False)  # 与服务器创建连接时 不阻塞

try:

    client3.connect(("www.gugo.com",80))

except BlockingIOError as e:

    pass

socket_list = [client1,client2,client3]

conn_list = [client1,client2,client3]

while True:

    rlist,wlist,elist = select.select(socket_list,conn_list,[],0.005)

    for sk in wlist:

        if sk == client1:

            sk.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')

        elif sk == client2:

            sk.sendall(b'GET /web?query=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')

        else:

            sk.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')

        conn_list.remove(sk)

    for sk in rlist:

        chunk_list = []

        while True:

            try:

                chunk = sk.recv(8096)

                if not chunk:

                    break

                chunk_list.append(chunk)

            except BlockingIOError as e:

                break

        body = b"".join(chunk_list)

        print("---------------->",body)

        sk.close()

        socket_list.remove(sk)

    if not socket_list:

        break

IO多路复用,低级本

import select

import socket

class Req(object):

    def __init__(self,sk,func):

        self.sock = sk

        self.func = func

    def fileno(self):

        return self.sock.fileno()

class Nb(object):

    def __init__(self):

        self.conn_list = []

        self.socket_list = []

    def add(self,url,func):

        client = socket.socket()

        client.setblocking(False)  # 与服务器创建连接时 不阻塞

        try:

            client.connect((url, 80))

        except BlockingIOError as e:

            pass

        obj = Req(client,func)

        self.conn_list.append(obj)

        self.socket_list.append(obj)

    def run(self):

        while True:

            rlist,wlist,elist = select.select(self.socket_list,self.conn_list,[],0.005)

            #  wlist 中表示已经连接成功的req对象

            for sk in wlist:

                # 发生变换的req对象

                sk.sock.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')

                self.conn_list.remove(sk)

            for sk in rlist:

                chunk_list = []

                while True:

                    try:

                        chunk = sk.sock.recv(8096)

                        if not chunk:

                            break

                        chunk_list.append(chunk)

                    except BlockingIOError as e:

                        break

                body = b"".join(chunk_list)

                sk.func(body)

                sk.sock.close()

                self.socket_list.remove(sk)

            if not self.socket_list:

                break

def baidu_repsonse(body):

    print('百度下载结果：',body)

def sogou_repsonse(body):

    print('搜狗下载结果：', body)

def oldboyedu_repsonse(body):

    print('老男孩下载结果：', body)

t1 = Nb()

t1.add("www.baidu.com",baidu_repsonse)

t1.add('www.sogou.com',sogou_repsonse)

t1.add('www.oldboyedu.com',oldboyedu_repsonse)

t1.run()

IO多路复用,高级版

高级版主要是 twisted 模块的简单解释

已经实现的模块 Twisted

基于IO多路复用 + socket 实现并发请求

IO多路复用检测切换

socket 非阻塞

基于事件循环实现的一部非阻塞框架

　　非阻塞 : 不等待

　　　异步 : 执行完某个任务后自动调用我给他的函数

Python 中开源 : 基于是事件循环实现的异步非阻塞框架 Twisted

　　当某件事完成, 自动执行某函数, 并且打码可以继续往下走 , 回调函数

总结 :

　1 socket 默认是阻塞的 , 阻塞体现在连接 (conconnect), 等待接收数据( recv)

　2 让socket 编程不阻塞用 setblocking(False) 可以使socket不阻塞

　3 IO多路复用的作用?

　　　　检测多个socket是否发生变化

　　　　　操作系统检测socket是否发生变化,有三种模式:

　　　　　　select: 　最多监听1024个socket,循环去检测

　　　　　　poll : 不限制的监听socket个数 , 循环去检测(水平触发) 效率会下降

　　　　　　epoll 不限制的监听socket个数 , 回调方式(边缘触发)

　　　　但是 : Windows系统 , 只支持 select 模块 , Linux系统支持 epoll 模块

　　Python模块 : 　　　　select.select() select.epoll()

　　提高并发方案 :

　　　　　　多进程

　　　　　　多线程

　　　　　　异步非阻塞模块(Twisted) scrapy 框架( 单线程完成并发)

5. 什么是异步非阻塞?
   - 非阻塞，不等待。
      比如创建socket对某个地址进行connect、获取接收数据recv时默认都会等待（连接成功或接收到数据），才执行后续操作。
      如果设置setblocking(False),以上两个过程就不再等待，但是会报BlockingIOError的错误，只要捕获即可。
   - 异步，通知，执行完成之后自动执行回调函数或自动执行某些操作（通知）。
      比如做爬虫中向某个地址baidu.com发送请求，当请求执行完成之后自执行回调函数。

6. 什么是同步阻塞？
   - 阻塞：等 
   - 同步：按照顺序逐步执行

key_list = ['alex','db','sb']

            for item in key_list:

                ret = requests.get('https://www.baidu.com/s?wd=%s' %item)

                print(ret.text)

协程

协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。、

需要强调的是：

#1. python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）

#2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（！！！非io操作的切换与效率无关）

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点如下：

#1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级

#2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

#1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程

#2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

总结协程特点：

必须在只有一个单线程里实现并发
修改共享数据不需加锁
用户程序里自己保存多个控制流的上下文栈
附加：一个协程遇到IO操作自动切换到其它协程（如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块（select机制）

协程加上IO切换示例

from gevent import monkey

monkey.patch_all()

import requests

import gevent

def get_page1(url):

    ret = requests.get(url)

    print(url,ret.content)

def get_page2(url):

    ret = requests.get(url)

    print(url,ret.content)

def get_page3(url):

    ret = requests.get(url)

    print(url,ret.content)

gevent.joinall([

    gevent.spawn(get_page1, 'https://www.python.org/'), # 协程1

    gevent.spawn(get_page2, 'https://www.yahoo.com/'),  # 协程2

    gevent.spawn(get_page3, 'https://github.com/'),     # 协程3

])

示例

自己写一个IO切换示例

def f1():

    print(11)

    yield

    print(22)

    yield

    print(33)

def f2():

    print(55)

    yield

    print(66)

    yield

    print(77)

v1 = f1()

v2 = f2()

next(v1) # v1.send(None)

next(v2) # v1.send(None)

next(v1) # v1.send(None)

next(v2) # v1.send(None)

next(v1) # v1.send(None)

next(v2) # v1.send(None)

示例

Greenlet模块

from greenlet import greenlet

def eat(name):

    print('%s eat 1' %name)

    g2.switch('egon')

    print('%s eat 2' %name)

    g2.switch()

def play(name):

    print('%s play 1' %name)

    g1.switch()

    print('%s play 2' %name)

g1=greenlet(eat)

g2=greenlet(play)

g1.switch('egon')#可以在第一次switch时传入参数，以后都不需要

greenlet实现状态切换

单纯的切换（在没有io的情况下或者没有重复开辟内存空间的操作），反而会降低程序的执行速度

顺序执行

import time

def f1():

    res=1

    for i in range(100000000):

        res+=i

def f2():

    res=1

    for i in range(100000000):

        res*=i

start=time.time()

f1()

f2()

stop=time.time()

print('run time is %s' %(stop-start)) #10.985628366470337

#切换

from greenlet import greenlet

import time

def f1():

    res=1

    for i in range(100000000):

        res+=i

        g2.switch()

def f2():

    res=1

    for i in range(100000000):

        res*=i

        g1.switch()

start=time.time()

g1=greenlet(f1)

g2=greenlet(f2)

g1.switch()

stop=time.time()

print('run time is %s' %(stop-start)) # 52.763017892837524

效率对比

greenlet只是提供了一种比generator更加便捷的切换方式，当切到一个任务执行时如果遇到io，那就原地阻塞，仍然是没有解决遇到IO自动切换来提升效率的问题。

单线程里的这20个任务的代码通常会既有计算操作又有阻塞操作，我们完全可以在执行任务1时遇到阻塞，就利用阻塞的时间去执行任务2。。。。如此，才能提高效率，这就用到了Gevent模块。

Gevent模块

安装：pip3 install gevent

Gevent 是一个第三方库，可以轻松通过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部，但它们被协作式地调度。

g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面可以有多个参数，可以是位置实参或关键字实参，都是传给函数eat的

g2=gevent.spawn(func2)

g1.join() #等待g1结束

g2.join() #等待g2结束

#或者上述两步合作一步：gevent.joinall([g1,g2])

g1.value#拿到func1的返回值

用法介绍

import gevent

def eat(name):

    print('%s eat 1' %name)

    gevent.sleep(2)

    print('%s eat 2' %name)

def play(name):

    print('%s play 1' %name)

    gevent.sleep(1)

    print('%s play 2' %name)

g1=gevent.spawn(eat,'egon')

g2=gevent.spawn(play,name='egon')

g1.join()

g2.join()

#或者gevent.joinall([g1,g2])

print('主')

例：遇到io主动切换

上例gevent.sleep(2)模拟的是gevent可以识别的io阻塞,而time.sleep(2)或其他的阻塞,gevent是不能直接识别的需要用下面一行代码,打补丁,就可以识别了

from gevent import monkey;monkey.patch_all()必须放到被打补丁者的前面，如time，socket模块之前

或者我们干脆记忆成：要用gevent，需要将from gevent import monkey;monkey.patch_all()放到文件的开头

from gevent import monkey;monkey.patch_all()

import gevent

import time

def eat():

    print('eat food 1')

    time.sleep(2)

    print('eat food 2')

def play():

    print('play 1')

    time.sleep(1)

    print('play 2')

g1=gevent.spawn(eat)

g2=gevent.spawn(play)

gevent.joinall([g1,g2])

print('主')

我们可以用threading.current_thread().getName()来查看每个g1和g2，查看的结果为DummyThread-n，即假线程 Dummy (假的意思)

from gevent import monkey;monkey.patch_all()

import threading

import gevent

import time

def eat():

    print(threading.current_thread().getName())

    print('eat food 1')

    time.sleep(2)

    print('eat food 2')

def play():

    print(threading.current_thread().getName())

    print('play 1')

    time.sleep(1)

    print('play 2')

g1=gevent.spawn(eat)

g2=gevent.spawn(play)

gevent.joinall([g1,g2])

print('主')

查看threading.current_thread().getName()

Gevent之同步与异步

from gevent import spawn,joinall,monkey;monkey.patch_all()

import time

def task(pid):

    """

    Some non-deterministic task

    """

    time.sleep(0.5)

    print('Task %s done' % pid)

def synchronous():  # 同步

    for i in range(10):

        task(i)

def asynchronous(): # 异步

    g_l=[spawn(task,i) for i in range(10)]

    joinall(g_l)

    print('DONE')

if __name__ == '__main__':

    print('Synchronous:')

    synchronous()

    print('Asynchronous:')

    asynchronous()

#  上面程序的重要部分是将task函数封装到Greenlet内部线程的gevent.spawn。

#  初始化的greenlet列表存放在数组threads中，此数组被传给gevent.joinall 函数，

#  后者阻塞当前流程，并执行所有给定的greenlet任务。执行流程只会在 所有greenlet执行完后才会继续向下走。

Gevent之应用举例一

from gevent import monkey;monkey.patch_all()

import gevent

import requests

import time

def get_page(url):

    print('GET: %s' %url)

    response=requests.get(url)

    if response.status_code == 200:

        print('%d bytes received from %s' %(len(response.text),url))

start_time=time.time()

gevent.joinall([

    gevent.spawn(get_page,'https://www.python.org/'),

    gevent.spawn(get_page,'https://www.yahoo.com/'),

    gevent.spawn(get_page,'https://github.com/'),

])

stop_time=time.time()

print('run time is %s' %(stop_time-start_time))

协程应用：爬虫

Gevent之应用举例二

通过gevent实现单线程下的socket并发

注意：from gevent import monkey;monkey.patch_all()一定要放到导入socket模块之前，否则gevent无法识别socket的阻塞

from gevent import monkey;monkey.patch_all()

from socket import *

import gevent

#如果不想用money.patch_all()打补丁,可以用gevent自带的socket

# from gevent import socket

# s=socket.socket()

def server(server_ip,port):

    s=socket(AF_INET,SOCK_STREAM)

    s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)

    s.bind((server_ip,port))

    s.listen(5)

    while True:

        conn,addr=s.accept()

        gevent.spawn(talk,conn,addr)

def talk(conn,addr):

    try:

        while True:

            res=conn.recv(1024)

            print('client %s:%s msg: %s' %(addr[0],addr[1],res))

            conn.send(res.upper())

    except Exception as e:

        print(e)

    finally:

        conn.close()

if __name__ == '__main__':

    server('127.0.0.1',8080)

server

from socket import *

client=socket(AF_INET,SOCK_STREAM)

client.connect(('127.0.0.1',8080))

while True:

    msg=input('>>: ').strip()

    if not msg:continue

    client.send(msg.encode('utf-8'))

    msg=client.recv(1024)

    print(msg.decode('utf-8'))

client

from threading import Thread

from socket import *

import threading

def client(server_ip,port):

    c=socket(AF_INET,SOCK_STREAM) #套接字对象一定要加到函数内，即局部名称空间内，放在函数外则被所有线程共享，则大家公用一个套接字对象，那么客户端端口永远一样了

    c.connect((server_ip,port))

    count=0

    while True:

        c.send(('%s say hello %s' %(threading.current_thread().getName(),count)).encode('utf-8'))

        msg=c.recv(1024)

        print(msg.decode('utf-8'))

        count+=1

if __name__ == '__main__':

    for i in range(500):

        t=Thread(target=client,args=('127.0.0.1',8080))

        t.start()

多线程并发多个客户端

巴特西

Python IO 多路复用 \协程