Python缓存技术,装x新高度。
2024-08-26 22:56:29
一段非常简单代码
普通调用方式
def console1(a, b):
print("进入函数")
return (a, b)
print(console1(3, 'a'))
print(console1(2, 'b'))
print(console1(3.0, 'a'))
很简单的一段代码,传入两个参数。然后打印输出。
输出结果
进入函数
(3, 'a')
进入函数
(2, 'b')
进入函数
(3.0, 'a')
使用某个装饰器后
接下来我们引入functools模块的lru_cache,python3自带模块。
from functools import lru_cache
@lru_cache()
def console2(a, b):
print("进入函数")
return (a, b)
print(console2(3, 'a'))
print(console2(2, 'b'))
print(console2(3.0, 'a'))
ほら、惊喜来了。
进入函数
(3, 'a')
进入函数
(2, 'b')
(3, 'a')
我们发现,少了一次进入函数的打印,这是怎么回事呢?
这就是接下来要说的LRU缓存技术了。
我们理解下什么是LRU
LRU (Least Recently Used) 是缓存置换策略中的一种常用的算法。当缓存队列已满时,新的元素加入队列时,需要从现有队列中移除一个元素,LRU 策略就是将最近最少被访问的元素移除,从而腾出空间给新的元素。
python中的实现
python3中的functools模块的lru_cache实现了这个功能,
lru_cache装饰器会记录以往函数运行的结果,实现了备忘
(memoization)功能,避免参数重复时反复调用,达到提高性能的作用,在递归函数中作用特别明显。这是一项优化技术,它把耗时的函数的结果保存起来,避免传入相同的参数时重复计算。
带参数的lru_cache
使用方法lru_cache(maxsize=128, typed=False)
maxsize可以缓存最多个此函数的调用结果,从而提高程序执行的效率,特别适合于耗时的函数。
参数maxsize为最多缓存的次数,如果为None,则无限制,设置为2的n次幂时,性能最佳;
如果 typed=True,则不同参数类型的调用将分别缓存,例如 f(3) 和 f(3.0),默认False
来一段综合代码:
from functools import lru_cache
def console1(a, b):
print("进入函数")
return (a, b)
@lru_cache()
def console2(a, b):
print("进入函数")
return (a, b)
@lru_cache(maxsize=256, typed=True)
def console3(a, b):
'''
:param a:
:param b:
:return:
'''
print("进入函数")
return (a, b)
print(console1(3, 'a'))
print(console1(2, 'b'))
print(console1(3.0, 'a'))
print("*" * 40)
print(console2(3, 'a'))
print(console2(2, 'b'))
print(console2(3.0, 'a'))
print("*" * 40)
print(console3(3, 'a'))
print(console3(2, 'b'))
print(console3(3.0, 'a'))
同样的可以用到爬虫的去重操作上,避免网页的重复请求。
在后期存储的时候做判断即可。
from functools import lru_cache
from requests_html import HTMLSession
session=HTMLSession()
@lru_cache()
def get_html(url):
req=session.get(url)
print(url)
return req
urllist=["https://www.baidu.com","https://pypi.org/project/pylru/1.0.9/","https://www.baidu.com"]
if __name__ == '__main__':
for i in urllist:
print(get_html(i))
输出
https://www.baidu.com
<Response [200]>
https://pypi.org/project/pylru/1.0.9/
<Response [200]>
<Response [200]>
ok,今天的内容就到这里,赶紧去试一试吧
最新文章
- 原生JS:Number对象详解
- 【转】Java 项目UML反向工程转化工具
- ubuntu15.04安装Chrome浏览器
- [转]How Can I Find Out What Is Using a Busy or Reserved Serial Port?
- Javascript 绝对定位和相对定位
- MFC使用ShowWindow(SW_MAXIMIZE)任务栏消失的处理
- DX 的.x 文件
- myeclipseb笔记(4):拷贝文件的相应配置
- CentOS系统、Jdk、Tomcat安装实战
- MYSQLI DEMO
- 关于HTML5中audio标签在手机中的autoplay
- 七 APPIUM Android 定位方式
- eclipse扩容
- Luogu 1894 [USACO4.2]完美的牛栏The Perfect Stall / POJ 1274 The Perfect Stall(二分图最大匹配)
- linux下PHP后台配置极光推送问题
- Android SDK Manager配置
- Nginx安装手册
- [CF543A]/[CF544C]Writing Code
- Department and Student
- JQGrid 在页面加载时展开SubGrid
热门文章
- java插件之Lombok
- Java EE之Servlet
- 【bzoj4084】【sdoi2015】双旋转字符串
- BZOJ 3438 小M的作物 &; BZOJ 1877 [SDOI2009]晨跑
- 简例s - Variables
- C++ 文本查询2.0(逻辑查询)
- 人人贷网的数据爬取(利用python包selenium)
- ABTest灰度发布
- POJ - 2976 Dropping tests &;&; 0/1 分数规划
- VS2013配置 OpenCV3.0【实测有效】