11.redis cluster的hash slot算法和一致性 hash 算法、普通hash算法的介绍

2024-10-09 11:47:22

分布式寻址算法

hash 算法（大量缓存重建）

一致性 hash 算法（自动缓存迁移）+ 虚拟节点（自动负载均衡）

redis cluster 的 hash slot 算法

一、hash 算法

来了一个请求，首先对key计算 hash 值，然后对节点数取模。然后打在不同的 master 节点上。

存在的问题

一旦某一个 master 节点宕机，所有新请求都会基于最新的剩余 master 节点数去取模，尝试去取数据，而取不到有效缓存，导致大量的流量涌入数据库。

二、一致性 hash 算法

将整个 hash 值空间组织成一个虚拟的圆环，整个空间按顺时针方向组织，下一步将各个 master 节点（使用服务器的 ip 或主机名）进行 hash。这样就能确定每个节点在其哈希环上的位置。

首先计算可以的hash 值，并确定此数据在环上的位置，从此位置沿环顺时针“行走”，遇到的第一个 master 节点就是 key 所在位置。

优势

在一致性哈希算法中，如果一个节点挂了，受影响的数据仅仅是此节点到环空间前一个节点（沿着逆时针方向行走遇到的第一个节点）之间的数据，其它不受影响。增加一个节点也同理。

存在的问题

一致性哈希算法在节点太少时，容易因为节点分布不均匀而造成缓存热点的问题。

应对方案

为了解决这种热点问题，一致性 hash 算法引入了虚拟节点机制，即对每一个节点计算多个 hash，每个计算结果位置都放置一个虚拟节点。这样就实现了数据的均匀分布，负载均衡。

三、redis cluster 的 hash slot 算法（虚拟桶）

redis cluster 有固定的 16384 个 hash slot，对每个 key 计算 CRC16 值，然后对 16384 取模，可以获取 key 对应的 hash slot。

redis cluster 中每个 master 都会持有部分 slot，比如有 3 个 master，那么可能每个 master 持有 5000 多个 hash slot。

hash slot 让 node 的增加和移除很简单：

增加一个 master，就将其他 master 的 hash slot 移动部分过去，
减少一个 master，就将它的 hash slot 移动到其他 master 上去。

优势

移动 hash slot 的成本是非常低的。客户端的 api，可以对指定的数据，让他们走同一个 hash slot，通过 hash tag 来实现。

任何一台机器宕机，另外两个节点，不影响的。因为 key 找的是 hash slot，不是机器。

参考：https://www.jianshu.com/p/90b3de6288c6

最新文章

热门文章