Redis缓存篇(二)淘汰机制:缓存满了怎么办?
上一讲提到,缓存的容量总是小于后端数据库的。随着业务系统的使用,缓存数据会撑满内存空间,该怎么处理呢?
本节我们来学习内存淘汰机制。在Redis 4.0之前有6种内存淘汰策略,之后又增加2种,一共8种,如下图所示:
- noeviction策略:内存空间达到maxmemory时,不会淘汰数据,有新写入时会返回错误。
- volatile-ttl策略:针对设置了过期时间的键值对,根据过期时间的先后进行修改,越早过期的越先被删除。
- volatile-random策略:在设置了过期时间的键值对中,进行随机删除。
- volatile-lru策略:使用LRU算法筛选设置了过期时间的键值对,进行删除。
- volatile-lfu策略:使用LFU算法筛选设置了过期时间的键值对,进行删除。
- allkeys-random策略:在所有键值对中随机选择并删除数据。
- allkeys-lru策略:使用LRU算法在所有数据中进行筛选并删除数据。
- allkeys-lfu策略:使用LFU算法在所有数据中进行筛选并删除数据。
对于TTL、Random比较好理解,下面学习一下LRU和LFU算法。
LRU算法
LRU算法,全称Least Recently Used。
其中MRU端指最近访问的数据;LRU端指最早访问的数据。
被访问的数据和新插入的数据会移到MRU端,空间满了后从LRU端删除。这样一来,最早访问的数据会逐渐被淘汰。
但LRU算法也有其缺点:
- 需要用链表管理所有缓存数据,带来额外的空间开销
- 大量数据被访问,就会带来很多链表移动操作,降低Redis性能
而Redis对其进行简化:
- Redis会记录每个数据的最近一次访问的时间戳(RedisObject中的lru字段)
- Redis第一次淘汰数据时,会随机选出N个数据,作为一个候选集合。
- 然后比较这N个数据的lru,把lru最小的从缓存中淘汰。
当再次淘汰数据时,会挑选数据放到第一次淘汰时的候选集合,要求小于候选集合中最小的lru值才能加入。
其中maxmemory-samples
配置项:表示选出的个数N。可以通过以下命令进行设置:
CONFIG SET maxmemory-samples 100
LFU算法
LFU算法是在LRU策略基础上,为每个数据增加一个计数器,来统计这个数据的访问次数。
使用LFU策略筛选淘汰数据时,根据数据的访问次数进行筛选,把访问次数最低的数据淘汰。如果两个数据访问次数相同,再比较两个数据的访问时效性,把更久的数据淘汰。
如何实现
LFU也是使用RedisObject的lru字段来实现。
把24bit的lru字段拆分成两部分:
- ldt值:lru字段的前16bit,表示数据的访问时间戳;
- counter值:lru字段的后8bit,表示数据的访问次数;
当LFU策略淘汰数据时,Redis在候选集合中,根据lru字段的后8bit选择访问次数最小的数据进行淘汰。如果访问次数相同,再根据lru字段的前16bit值大小,选择更久的数据进行淘汰。
关于counter只有8bit(255)的问题
Redis并没有采用数据每被访问一次,就+1的规则,而是采用一个类似于随机+1的规则:
double r = (double)rand()/RAND_MAX;
...
double p = 1.0/(baseval*server.lfu_log_factor+1);
if (r < p) counter++;
通过设置 lfu_log_factor
配置项来控制计数器值增加的速度,避免counter很快到255。下图是 lfu_log_factor
设置不同值时,counter的增长情况:
总结
- 如何设置缓存空间大小:设置为总数据量的15%到30%,兼顾访问性能和内存空间开销。
- 优先使用allkeys-lru策略。如果业务数据中有明显的冷热数据区分,建议使用allkeys-lru策略。
- 如果业务数据访问频繁相关不大,没有明显的冷热数据区分,建议使用allkeys-random策略。
- 如果业务中有置顶的需要,可以使用volatile-lru策略,同时不给这些置顶数据设置过期时间。
参考资料
最新文章
- 关于 .NET Core 动态链接库的开发
- [Animatable Properties](https://developer.apple.com/library/content/documentation/Cocoa/Conceptual/CoreAnimation_guide/AnimatableProperties/AnimatableProperties.html)
- 微软控制台带来的PHP控制台输出问题
- Components of the Impala Server
- android129 zhihuibeijing 聊天机器人
- Oracle 直接路径读
- [又是BUG]常见的RuntimeException
- Maven-1:下载&;安装
- Kafka 0.10 Producer网络流程简述
- 转账示例(三):service层面实现(线程管理Connection)(本例采用QueryRunner来执行sql语句,数据源为C3P0)
- 碎片︱R语言与深度学习
- Selenium自动化测试-unittest单元测试框架
- linux 服务器命令
- entry.define编程思路
- Capture HTML Canvas as gif/jpg/png/pdf?
- Hadoop在启动时的坑——start-all.sh报错
- SVNserver搭建
- Java获取Resource目录下的文件
- queue_monitor
- (转)Inno Setup入门(十三)——Pascal脚本(2)
热门文章
- PyQt(Python+Qt)学习随笔:Designer中的QDialogButtonBox的按钮改变缺省文字的方法
- 基于CefSharp开发(六)浏览器网页缩放
- bugku never give up
- Springboot中redisTemplate乱码或json转换问题
- js原生方法promise的实现
- 网络层-network layer(下):网络互连、子网掩码计算方法、Ipv4报头解析
- 主从复制架构直接转换MGR(manual)
- Day10 python高级特性-- 生成器 Generator
- 【Electron Playground 系列】窗口篇
- 谷歌学术: but your computer or network may be sending automated queries. To protect our users, we can&#39;t process your request right now. See Google Help for more information.