Orchestrator 对MySQL主库的故障切换分为自动切换和手动切换。
手动切换又分为recover、force-master-failover、force-master-takeover以及graceful-master-takeover.

1.自动切换

自动切换是主库出现故障后，自动提升新主库，进行故的障切换。

自动切换受到以下条件限制和约束：

会周期检测主库状态。
自动切换，会周期进行故障扫描，如果发现故障，条件满足就会进行故障切换。

故障检测和切换具体由CheckAndRecover()实现，具体调用：

2.手动切换

手动切换包括: recover、force-master-failover, force-master-takeover以及graceful-master-takeover。

手动切换不受自动切换中提到的条件限制和约束。

recover 以故障主库以及候选实例candiateKey为参数，调用CheckAndRecover()，进行故障切换。
指定的故障主库必须是故障的，也就是已确认发生故障，如果不是故障的，不进行切换。

不论集群主库是否故障，都会进行后续切换操作，需要用户确认已发生故障。

具体步骤：

(1) 故障扫描 forceAnalysisEntry()-->GetReplicationAnalysis()
(2) 故障恢复ForceExecuteRecovery(analysisEntry, nil,false)-->executeCheckAndRecoverFunction()，不指定候选主库

最后，老主库成为单独的DB 实例。

同上，需要用户自己判定故障。

force-master-takeover，唯一不同于force-master-failover的点是，force-master-takeover带候选主库(即candidate)，并且候选主库必须是集群主库的直连从库。
其他同force-master-failover。

这种切换方式针对的是：老主库是正常的，需要提升新主库，老主库可作为从库。

具体操作步骤包括：

(1)检查候选主库
- 候选主库必须是集群的主库的直连从库
- 候选主库，没有被禁止提升为主库(即promotion rule 不是must not)
- 候选主库，没有延迟过大(超过20s)
(2) 故障扫描，forceAnalysisEntry()-->GetReplicationAnalysis()
(3) 调用hooks：PreGracefulTakeoverProcesses
(4) 如果集群中不只一个副本，将老主库的从库移动到候选主库之下
(5) 停止候选主库的复制，在候选主库上执行stop slave
(6) 设置老主库只读
(7) 使候选主库追上老主库(start slave until)
(8) 进行故障恢复，新主库形成ForceExecuteRecovery(analysisEntry, &destination.Key, false)-->executeCheckAndRecoverFunction()
(9) 将老主库变成新主库的从库
(10) 调用hooks: PostGracefulTakeoverProcesses

之所以称为graceful，是因为老主库不是故障的，首先会让候选主库追上老主库。最后，将老主库作为新主库的从库(但没有执行start slave)。
而force-master-failover、force-master-takeover 不会将老主库作为新主库的从库，老主库成为孤立的实例。