python中的多任务
2024-08-30 15:11:58
多任务
什么是任务
一个电脑运行这的软件
什么是多任务
电脑同时运行着的多个软件
多任务原理
时间片的轮转
并行与并发
并发:假的多任务,多个任务共用一个核
并行:正的多任务,一个核处理一个程序
生理过程(从生到死)
创建 -> 就绪 -> 运行 -> 阻塞 -> 死亡
线程和进程的创建一定要在主函数中,且主任务和子任务一起往下执行,遇到join()方法,主任务会等子任务执行完在结束
线程
特点
查看正在运行的线程列表
threading.enumerate()
只要程序已启动,Python解释器就会自动创建一个主线程
主线程等待其他线程结束后在结束
线程target指向的函数执行完毕,线程就结束了
子线程是调用start()之后开启的
多个线程共享全局变量 创建
通过继承的方式创建线程
特点:写法复杂,使用简单,可以使用对象的特性(封装、继承、多态)业务逻辑比较复杂时使用
方式一
import threading
p = threading.Thread(target=函数名,args=(1,))
p.setDaemon(True) # 开启守护线程
p.start()
p.join() 方式二
# 线程类
import threading
class MyThread(threading.Thread):
def run():
print('子线程要做的事')
t = MyThread()
t.setDaemon(True)
t.start()
t.join()
互斥锁
-->科学家吃面(筷子和碗)
1.什么是资源竞争?
多个线程争抢做同一件事
2.资源竞争会带来什么问题?
多线程共享同一个资源的时候,当操作这个资源(变量)足够多的次数时,可能会出现问题 eg:1000000次的累加
3.如何解决资源竞争的问题?
互斥锁
4.什么是互斥锁?
确保了某段关键代码只能由一个线程从头到尾完整地执行
5.如何使用互斥锁?
1.创建锁对象
mutex = threading.Lock()
2.获取锁
mutex.acquire()
3.释放锁
mutex.release()
6.原则:
存在资源竞争的代码,加锁的代码越少越少
7.死锁
什么是死锁?
线程1等待线程2释放锁,线程2等待线程1释放锁
如何解决死锁?
1.设计写代码的时候就避免
2.设置超时时间
3.银行家算法
队列
from queue import Queue q = Queue(maxsize=100)
item = {}
q.put_nowait(item) #不等待直接放,队列满的时候会报错
q.put(item) #放入数据,队列满的时候回等待
q.get_nowait() #不等待直接取,队列空的时候会报错
q.get() #取出数据,队列为空的时候会等待
q.qsize() #获取队列中现存数据的个数
q.join() #队列中维持了一个计数,计数不为0时候让主线程阻塞等待,队列计数为0的时候才会继续往后执行
q.task_done()
# put的时候计数+1,get不会-1,get需要和task_done 一起使用才会-1
进程
1.程序:
就是程序员写的代码,没有运行起来的代码
2.进程
运行起来的程序,代码+计算机资源,进程是实现多任务的第二种方式
3.程序运行起来之后,Python解释器会给程序创建一个进程,叫做主进程 特点
1.查看进程
windows: 任务管理器
linux:ps -aux
杀死进程 kill -9 PID
top htop 相当于windows中的任务管理器
2.进程的写实拷贝
写(修改)的时候拷贝一份
进程不共享全局变量
通过args给进程传递数据
3.获取进程id和父进程的id
os.getpid()
os.getppid()
4.主进程等待子进程结束后再结束(主进程替子进程收尸),进程的运行顺便不确定 创建
方式一
import multiprocessing
p = multiprocessing.Process(target=函数名,args=(1,))
p.daemon = True # 开启守护进程
p.start()
p.join()
方式二
import multiprocessing
class MyProcess(multiprocessing.Process):
def run():
print("子进程要做的事情")
p = MyProcess()
p.daemon = True # 开启守护进程
p.start()
p.join()
进程间通信(传递数据)
默认情况下,进程之间不能互相访问数据
队列(Queue)
常用的方法
get()/put()/full()
每个进程都可以往这个队列中写数据,都可以从这个队列中读取数据
编码步骤:
创建队列对象
给队列中放数据
从队列中取数据
进程池(Pool) 什么是进程池?
一次性在进程池中创建多个进程
进程的作用?
减少了销毁线程的次数,从而提高效率
如何使用进程池?
创建进程池对象,调用方法完成任务 from multiprocessing import Pool
import os, time, random
def worker(msg):
t_start = time.time()
print("%s开始执行,进程号为%d" % (msg, os.getpid()))
# random.random()随机生成0~1之间的浮点数
time.sleep(random.random() * 2)
t_stop = time.time()
print(msg, "执行完毕,耗时%0.2f" % (t_stop - t_start)) def main():
po = Pool(3) # 定义一个进程池,最大进程数3
for i in range(0, 10):
# Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
# 每次循环将会用空闲出来的子进程去调用目标
po.apply_async(worker, (i,)) print("----start----")
po.close() # 关闭进程池,关闭后po不再接收新的请求
time.sleep(1)
# po.join() # 等待po中所有子进程执行完成,必须放在close语句之后
print("-----end-----") # 进程一定要放在入口函数中执行,否则会抛出异常
if __name__ == '__main__':
main()
协程
什么是可迭代对象
一个普通的对象实现了iter内置函数
什么是迭代器
一个普通的对象实现了iter和next内置函数
迭代器的特点
保存的是生成数据的方式,而不直接存储数据,好处:节省系统空间
什么是生成器
它是一个特殊的迭代器
yield
一个普通的函数里面写了yield的话,他就是一个生成器模板,执行函数遇到yield会阻塞,调用next()或者send()会解阻塞,end()可以用来传递参数
eg:
def func(all_num):
a, b = 0, 1
count_num = 0
while True:
if count_num < all_num:
result = yield a # 如果一个函数中有yield,则说明这是特殊函数,叫生成器的模板
print(">>>>ret>>>>", result)
a, b = b, a + b
count_num += 1
else:
raise StopIteration f = func(10)
ret = next(f)
print(ret)
ret = f.send("hahaha") # 将这个结果传递给 result = yield a 让result来保存"hahaha"
ret1 = next(f)
print(ret1) # 结果为None传递一次send后,后面的数据都需要send来传输,否则结果为None
ret2 = f.send("ok") 利用yield做协程
写多个函数,每个函数中都写yield,函数执行时遇到yield就会阻塞,然后交替着调用不同任务的next()方法,这样就用协程实现了多任务
原理:
利用线程的空闲时间去执行其他的任务
特点:
协程依赖于线程,线程依赖进程,从系统开销讲,进程>线程>协程 创建协程
yield next() send() import gevent
import time
from gevent import monkey monkey.patch_all() def func1(num):
for i in range(num):
print(gevent.getcurrent(), i)
time.sleep(0.5) def func2(num):
for i in range(num):
print(gevent.getcurrent(), i)
time.sleep(0.5) def func3(num):
for i in range(num):
print(gevent.getcurrent(), i)
time.sleep(0.5) def func4(num):
for i in range(num):
print(gevent.getcurrent(), i)
time.sleep(0.5) def func5(num):
for i in range(num):
print(gevent.getcurrent(), i)
time.sleep(0.5)
def main():
gevent.joinall([gevent.spawn(func1, 10),
gevent.spawn(func2, 10),
gevent.spawn(func3, 10),
gevent.spawn(func4, 10),
gevent.spawn(func5, 10)
]) if __name__ == "__main__":
main()
最新文章
- 算法与数据结构(七) AOV网的拓扑排序
- office 365 online api
- IOS 关于NSString类型的属性为什么有时用copy,有时用strong呢?
- CSS隐藏元素的N种实现方式。
- js中的==运算: [&#39;&#39;] == false —>;true
- C#产生随机颜色
- 给Windows机器创建软连接
- maven 环境搭建 Myeclipse配置
- 云计算服务模型,第 3 部分: 软件即服务(PaaS)
- CSS元素分类及区别
- Android Studio设置Eclipse风格快捷键
- 使用UEditor
- JavaScript通告/订阅的例子
- WinSock IOCP 模型总结(附一个带缓存池的IOCP类)
- Naive Bayes (NB Model) 初识
- 【转】使用virtualenv在ubuntu上搭建python 3开发环境
- Python多进程并发(multiprocessing)
- HTML第四耍 超链接标签
- 修改SS配置文件使其同时支持IPV4和IPV6网络
- Intellij IDEA中maven更新不下来pom中的jar包,reimport失效