Redis哨兵故障转移

2020-01-31

下线标记

Sentinel定期向Master节点发送PING命令,若在限定时间内没有收到有效回复,则会将该节点状态中的flags字段设为SRI_S_DOWN,即标记为主观下线状态,同时尝试向其他Sentinel询问节点状态。

Sentinel使用:

SENTINEL is-master-down-by-addr <ip> <port> <current_epoch> <runid>

来询问其他Sentinel是否同意主服务器已下线,其他Sentinel按照以下格式回复:

1) <down_state>
2) <leader_runid>
3) <leader_epoch>

若down_state为1,则说明同意下线状态。

当有足够的Sentinel同意下线数量,Sentinel会将该Master节点状态中的flags字段设为SRI_O_DOWN,表示进入客观下线状态。

选举领头Sentinel

当有Master节点被标记为客观下线,监视这个下线Master节点的各个Sentienl会进行协商,选举领头Sentinel进行故障转移操作。

所有的该Master节点的Sentinel都有被选为领头节点的资格。每次选举中不管是否成功,Sentinel配置中的纪元epoch都要加1。

在每个epoch内,各个Sentinel都可能成为领头,局部领头一旦设置,在当前epoch内就不能改变。

每个发现Master节点进入客观下线的Sentinel都会要求其他Sentinel将自己设置为局部领头Sentinel。当一个Sentinel向对方发送is-master-down-by-addr命令且ip参数为*时,即表示希望对方将自己设置为领头。设置规则为先到先得,后续的申请都会被拒绝。对方收到申请后会响应命令回复,回复中的leader_runid和leader_epoch分别记录了局部领头的运行id和配置纪元。源Sentinel会判断对方响应的runid和epoch是否与自己对应,如果对应则说明对方将自己设置为局部领头。当某个Sentinel被半数以上的Sentinel设置为局部领头,那么这个Sentinel成为领头Sentinel。

如果在时限内没有Sentinel拿到半数以上投票,则开始一个新的纪元重新进行选举。

故障转移

领头Sentinel确定后,领头Sentinel对下线的Master节点进行故障转移:

  • 从下线Master节点的从服务器中挑选一个转为主服务器
  • 让已经下线的节点的从服务器改为复制新的主服务器
  • 将已经下线的节点设置为新的Master的从服务器

选择新Master服务器按照如下规则逐步过滤:

  • 删除已经下线的从服务器
  • 删除最近5秒内没有回复过领头Sentinel的INFO命令的从服务器
  • 删除与已下线主服务器断开连接超过down-after-milliseconds * 10毫秒的从服务器,以保证从服务器没有过早与主服务器断开连接
  • 根据从服务器的优先级进行排序,优先级相同则按照复制偏移量排序,最后按照runid进行排序

Sentinel向新选出的主服务器发送slaveof no one命令,并且持续发送INFO命令观察服务器的角色是否从role变为master。

当新Master的角色改变后,Sentinel向其他从服务器发送slaveof命令使他们复制新的主服务器。

当旧的Master上线后,Sentinel也会向它发送slaveof命令,让他成为从服务器。