HQbird 集群:集群与复制
集群与复制 HQbird Cluster
主节点将变更写入段,并通过安全通道发送到副本。节点通过 nbackup 自行创建新副本的数据库拷贝,用户可继续工作。集群管理器(RCM)显示所有节点的延迟、队列和错误。它还能将主节点迁移到另一台主机:作为计划内迁移,不丢失数据;或作为紧急迁移,在主节点主机丢失时执行。
- Firebird 2.5 · 3 · 4 · 5
- nbackup 无需停止主节点即可复制
- switchover 不丢失数据
- failover 手动或按规则执行
- router 连接字符串保持不变
- mTLS 所有通道均启用
节点 · RCM · 布局
集群如何工作
每个 Firebird 旁边都运行一个节点。节点只有一个角色:主节点或副本。主节点发送段,副本节点接收段,副本的 Firebird 将其应用到自己的数据库拷贝上。
每个集群有一个 RCM。它运行在任何能访问所有节点的主机上。节点向其发送统计信息,它向节点传递操作员命令。RCM 通过数据库 GUID 而非节点名称来关联主节点和副本。
RCM 不会自行安装。当需要集群时,你在某台主机上启用它。你可以在应用程序前面放置一个路由器:它始终将应用程序发送到当前主节点。
| 组件 | 数量 | 功能 |
|---|---|---|
| Firebird (HQbird) | 每台数据库服务器上 | 存储数据库并写入复制段。 |
| fbagent | 每个 Firebird 实例一个 | 在节点请求时停止和启动 Firebird。 |
| hqclusternode | 每个实例和角色一个 | 设置复制、发送段、为副本创建数据库拷贝。 |
| hqbirdrcm (RCM) | 每个集群一个 | Web 界面、命令、告警、统计信息。执行 switchover 和 failover。 |
| 路由器 (hqclusternode router) | 可选,位于应用程序主机上,Linux | 保持 HAProxy 指向每个服务的主节点。应用程序连接到路由器。 |
- 相同主版本主节点为 5.0,副本也为 5.0。否则副本会在任何数据传输之前拒绝。
- HQbird 2.5 和 3.0通过 replconf 插件进行复制。过滤器定义表集合。
- 每个主节点独立文件夹副本将数据库放在以主节点命名的文件夹中。来自不同主节点的同名数据库不会冲突。
- 没有 fbagent,就没有变更如果 fbagent 不可用,节点会拒绝任何更改配置的操作。它不会“部分”工作。
- 无 RCM 的节点节点可以独立工作。RCM 用于总览和命令。
- 通道压缩适用于慢速网络:每个对等节点使用 zstd,立即生效。
- 不使用 HQCenter 时最多 3 台主机每台带有主节点或副本的主机在集群中占用一个位置。RCM 不接受第四台主机。
RCM · 配对窗口 · Link 主机 · 槽位
如何构建集群
HQbird 安装程序将集群程序放到每台服务器上,但不会启用它们。RCM 和配对窗口默认关闭。你分三步构建集群:在一台主机上启用 RCM,在其他主机上打开配对窗口,用一个按钮链接主机。
- 1启用 RCM在一台主机上:在 HQ Monitor 中或使用
fbagent --cluster-init - 2打开配对窗口在其他主机上,持续 24 小时
- 3链接主机RCM 发现代理、颁发证书并启动节点
第 1 步。在单台主机上启用 RCM
在 HQ Monitor 中,打开“Cluster on this server”部分并开启 RCM。在主机上执行命令也能达到同样效果。代理会创建集群 CA、RCM 证书和第一个用户。防火墙中会开放端口 7443 和 7444。
fbagent --cluster-init <id>
在安装过程中,开关 --rcm on(Linux)或 /RCM(Windows)也能达到同样效果。
第 2 步。配对窗口
在每台将要加入集群的主机上,代理会开放配对端口 24 小时。当窗口结束或代理已加入集群时,该端口会自动关闭。
fbagent --cluster-pairing on
HQ Monitor 中的按钮也能达到同样效果。在安装过程中:--cluster-pairing on 或 /DISCOVERY。
第 3 步。连接主机
在 RCM 中,打开 Settings → Link hosts 并输入主机,每行一个。Check hosts 按钮会读取每台主机的端口 7450–7459。每个有响应的代理对应表格中的一行。
- 一行显示:端口、实例、Firebird 版本和端口、节点端口、证书指纹。
- 用复选框选择行并选择主节点。有错误的行不会阻止其他行。
- Link 会为每个代理签发证书,创建成员以及主节点 → 副本节点的链接。
- RCM 最多等待代理证书 10 分钟,最多等待节点启动 20 分钟。
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1
将行中的指纹与代理在其主机上显示的指纹进行比较。这样你就能知道连接的是正确的服务器。
- 一台主机上的多个代理每个代理都有自己的槽位,从 0 到 9。配对端口为 7450 + 槽位,节点端口为 7051 + 槽位和 7061 + 槽位。安装程序会选择槽位;开关
--pairing-port可显式设置它。 - 添加成员Cluster 页面会建议一个空闲的节点端口,并拒绝此主机上其他成员正在使用的端口。
- 成员名称
<host name>-master和<host name>-replica。RCM 不会重命名成员:新名称就是新成员。 - 不使用配对窗口RCM 为一个代理签发令牌,有效期 24 小时。在新主机上:使用此令牌和 CA 哈希执行
fbagent --cluster-join。
- RCM 所有者在主机上开启 RCM 的代理。此主机上的第二个代理会被拒绝。如果所有者被移除,
fbagent --cluster-init --rcm-takeover会将 RCM 转移到另一个代理。集群会获得新的 CA,你必须重新连接成员。 - 离开集群
fbagent --cluster-leave会停止节点、关闭其端口并删除集群证书。节点文件夹会保留;--remove-data会删除它们。如果 RCM 撤销了代理或移除了其最后一个成员,代理会自动离开。 - 防火墙代理会自行打开和关闭其集群端口。它不会关闭在它之前就已开放的端口。
- 移除 HQbird当其他代理使用其 RCM 时,RCM 所有者不会被移除。安装向导会询问;静默模式需要
--force或/FORCE。
本地 HQ Monitor 中的 Clusters 页面通过 RCM 主机上的代理工作。它不需要 RCM 密码。只有管理员才能看到“Cluster on this server”部分。
初始化 · reinit
无需停止主节点即可创建新副本
副本只能从主节点获取数据库。主节点使用 nbackup -L 冻结文件,分部分发送,并立即移除锁。主节点用户全程可以继续工作:他们的更改会写入 .delta,之后会返回数据库。
gbak 和手动复制文件在这里不可行。gbak 会更改数据库 GUID 并破坏主节点–副本节点链接。对运行中的数据库进行文件复制是不一致的。
主节点用户
文件
- 连接丢失传输会从最后接收的部分继续。未完成的副本会在副本节点上保留 24 小时。
- 错误节点会移除锁、删除未完成的文件并将数据库设置为 FAILED。下一次尝试会从已知状态开始。
- 锁定期间的事务它们不会丢失。Firebird 4 和 5:节点会找到在
nbackup -L时刻打开的事务,副本会从段中重放它们。HQbird 2.5 和 3.0:节点会等待此类事务结束(约一分钟),否则复制不会开始。
- 一次一个数据库默认情况下,主节点一次复制一个数据库。其他数据库在队列中等待。
- 此数据库的其他副本复制运行期间,它们不会获得此数据库的段。之后它们会追上。
- 自动重新初始化RCM 可以在设定的窗口内自行再次复制处于 NEEDS_REINIT 状态的数据库。默认关闭。
温和模式会等待长事务
在锁定之前,节点会查找在主节点归档中最旧段之前开始的写事务。如果归档为空(首次复制),限制就是节点开启发布的时间。副本无法重放此类事务,会停止。因此,只要此类事务处于打开状态,复制就不会开始。
RCM 会显示具有最旧事务的五个连接:用户、客户端、时长、当前查询。你可以断开它们并立即重复复制。复制等待期间,主节点的归档不会被清理,但最多不超过 1000 个段。之后清理会继续,RCM 会发出警报。
普通模式会立即锁定数据库,不进行检查。
空间与速度
| 位置 | 所需条件 |
|---|---|
| 主节点,数据库卷 | 至少 105 % 的数据库大小可用。.delta 在复制期间增长。 |
| 副本节点,数据库卷 | 105 % 加上卷预留 free_space_floor_gb(默认 1 GB)。节点会预先预留完整大小;无需第二份副本。重复复制时,旧文件会保留到最后。如果没有空间容纳两个文件,“Remove the old replica”复选框会在传输前删除旧文件。 |
| 夜间速度 | 在传输窗口内(默认 23:00–05:00)恒定,默认 100 MB/s。 |
| 白天速度 | 实测磁盘速度的一部分,默认一半。白天启动的复制会在夜间自动加速。 |
空间会检查两次,且仅在加锁前:首先由 RCM 根据统计信息检查,然后由节点在两侧进行实时测量检查。节点检查不可跳过:它保护磁盘在复制过程中不被填满。
Firebird 4 和 5 · HQbird 2.5 和 3.0
发布:哪些表会同步到副本
Firebird 4 和 5 仅在发布开启时,才将已发布表的变更写入段。没有发布,变更不会到达副本。节点会察觉这一点并发出警报。“Sync publication”按钮会开启发布并构建正确的表列表。
同步会做什么
- 开启发布,除非操作员有意关闭了它;
- 添加所有具有主键或唯一索引的表;
- 移除没有键的表以及操作员排除的表;
- 关闭新表的自动添加。
没有键,副本无法为 UPDATE 和 DELETE 找到对应行。因此这样的表无法发布:请添加键并重新同步。
- 每小时检查如果发布关闭,节点每 2 分钟检查一次。对于有副本的数据库,这是一条警报。
- 排除列表存储在主节点上。当副本被提升为主节点时,该列表会迁移到新的主节点。
- 新表不会自行加入发布。请创建键并点击“Sync publication”。
- 无发布时复制如果发布关闭或没有表(
publication_off),主节点会拒绝复制数据库。初始化窗口提供“Sync publication and initialize”。 - HQbird 2.5 和 3.0没有发布。复制设置中的包含和排除过滤器定义了表集合。
发布关闭或表被排除期间所做的变更不会到达副本,即使之后开启发布也是如此。“Verify”仅比较行数;它不会发现丢失的 UPDATE。如果数据库在发布关闭期间有写入,请重新复制数据库。
延迟 · 归档 · 警报 · 数据检查
监控:副本不会悄然落后
节点每 30 秒向 RCM 发送统计信息。对于每个主–副本对,你可以看到:最后一个段、已发送、已确认和已应用的数量、队列以及以秒为单位的延迟。
| 数据库状态 | RCM 中的分组 | 含义 |
|---|---|---|
IN_SYNC | Ok | 副本已收到所有段。 |
LAGGING | Pending | 副本落后,段在队列中。 |
SEEDING | Pending | 数据库正在复制到副本。 |
NEEDS_REINIT | Error | 副本必须重新复制。 |
FAILED | Error | 上次复制失败。 |
主节点的归档分阶段清理
主节点保留已发送的段,以便副本可以再次请求它们。如果空间不足,它会先删除确定不需要的内容。
- 1所有副本已应用,且早于限制默认限制为 2 天
- 2已应用,但晚于限制如果可用空间少于 1 GB;警报
- 3尚未应用作为最后一步;副本需要重新复制
带操作指引的警报
RCM 了解 20 多种警报类型,每种都有相应的操作指引。你可以确认警报、将其静音 60 分钟或删除。如果原因仍然存在,警报会再次出现。
没有电子邮件或 webhook:请查看“Alerts”页面或轮询 RCM API。
| 代码 | 发生了什么 |
|---|---|
backlog_warn / backlog_critical | 主库有 32 / 48 个未归档的段。 |
apply_error、replication_stopped | 副本无法应用某个段。 |
replication_guid_mismatch | 主库数据库 GUID 已更改:还原或文件替换。 |
segment_missing、sequence_gap | 段序列已中断。 |
firebird_down、firebird_log_error | Firebird 已停止或写入错误。 |
firebird_not_answering | Firebird 端口已打开,但连接数据库已失败一分钟。 |
master_publication_off | 带有副本的数据库的发布已关闭。 |
data_mismatch | 定期数据检查发现差异。数据检查需单独开启。 |
主库与副本比较
Verify 会统计主库和副本上所选表的行数并进行比较。它不比较行内容:不会发现已更改的行。请在空闲时段运行:在活跃写入下,计数可能不同。
定期检查默认关闭:COUNT(*) 会读取整张表。通过节点参数 data_check_enabled 开启;每 2 小时运行一次。新的检查设置立即生效,无需重启节点。检查在主库和副本处于同一段时比较数据。发现差异会触发告警。从发布中排除的表显示为“未发布”,而不是错误。
- 暂停传输适用于一个或多个数据库。执行“恢复”后,传输从最后一个段继续,无需重新复制。在此期间归档会增长。
- 远程节点日志replication.log、firebird.log 和节点日志可直接在 RCM 中查看,无需登录服务器。
- 无许可证主库停止传输;Firebird 和数据库继续工作。安装许可证后,传输会在一分钟内自动恢复。
- 命令日志每条 RCM 命令都会记录其执行者和结果。集群报告保存在一个 JSON 文件中。
服务 · 纪元 · 主库所在位置
服务:一个数据库分布在多台主机上
服务是一个逻辑数据库分布在多台主机上。主库可以在主机之间迁移,但服务名称和数据库别名不变。应用程序和路由器向 RCM 询问服务的主库现在在哪里。
每次主库变更都会获得下一个编号:纪元。RCM 保留纪元历史:主库何时变更以及原因。RCM 通过节点和文件路径查找服务,而不是通过 GUID:在切换时数据库 GUID 会改变,但路径保持不变。
服务描述的内容
- alias:
databases.conf中的数据库名称。新主库会自行写入。 - members:每台主机一条记录:主库节点、副本节点、文件路径、优先级。
- router_port:路由器接受此服务应用程序的端口。
- policy:自动故障转移的规则以及关闭旧主库的模式。
服务的每台主机在同一个 Firebird 上运行两个节点:一个主库节点和一个副本节点。这与上图“每台主机两个节点”的布局相同。
主库节点需要为客户端提供 Firebird 地址:advertise_addr 参数。没有它,RCM 无法告诉应用程序连接到哪里。
主库现在在哪里
hqbirdrcm services put -id shop -file shop.json hqbirdrcm services hqbirdrcm where -service shop hqbirdrcm where -db shop
where 会回答:主库主机和地址、纪元编号、副本以及发现的问题。通过 API,应用程序可以等待新的纪元,而无需每秒轮询 RCM。
RCM 中的 Services 页面为每个服务显示相同的信息:状态、纪元、主库、Firebird 地址、副本和问题。Find 字段可通过别名、服务名称、GUID 或路径查找数据库。
浏览器中的服务
hqbirdrcm 命令为服务所做的一切也都在 RCM Web 界面中。你不需要为此使用命令行。
- 服务页面状态及其原因、主库、带有延迟的副本、主机及其角色、路由器、等待关闭的旧主库、自动故障转移规则、逐步运行的操作以及主库历史。
- 操作按钮Switchover、Failover、Rejoin、Resume。每个按钮先运行检查并显示问题。只有在你确认后操作才会开始。第二次点击不会启动第二个操作。
- 服务表单New service 按钮创建服务:名称、别名、路由器端口以及每台主机一行。表单会提供节点及其可见的数据库。Check 检查表单,Save 先显示变更列表。
- 操作一个页面列出所有切换、故障转移和重新加入,最新的在前。操作运行时,每个页面的页眉都有一个指向它的标签链接。
- 删除服务仅删除 RCM 中的记录。对话框会说明保留的内容(数据库、复制、节点角色、别名)和丢失的内容(历史、规则、路由器上的端口),并要求你输入服务名称。
- 查看者角色具有此角色的用户可以看到所有页面并运行检查,但没有操作按钮。
| 服务状态 | 含义 | 该做什么 |
|---|---|---|
ok | 主库正常工作,另一台主机上的副本跟随它。 | 无需操作。 |
rejoining | 旧主库正作为副本回归。 | 等待:数据库正在复制。 |
degraded_no_replica | 主库正常工作,但没有副本。这发生在故障转移后或重新加入出错后。 | hqbirdrcm rejoin |
failed | RCM 无法确定状态,或主节点的 Firebird 无响应。 | 检查后执行 hqbirdrcm resume |
处于 failed 状态的服务既不会启动 switchover,也不会启动自动 failover。只有操作员才能将其移出此状态:使用 resume 命令、rejoin 或手动 failover。
计划内迁移主节点 · 无数据丢失
Switchover:主节点迁移到另一台主机
Switchover 将服务的主节点迁移到另一台主机,且不丢失数据。RCM 自身会停止旧主节点上的写入,等待副本应用最后一个段,然后将其设为主节点。随后,旧主节点以相同路径作为新主节点的副本重新加入集群。
它适用于计划内工作:操作系统更新、磁盘更换、将负载迁移到另一台服务器。先检查,再启动:
hqbirdrcm switchover -service shop -check # 仅检查,不做任何更改 hqbirdrcm switchover -service shop -to db2 # 将主节点迁移到 db2
该命令会执行操作直至完成,并打印每个步骤。退出码 0 表示成功。RCM 服务页面上的 Switchover 按钮执行相同操作:先检查,再确认,然后在屏幕上显示操作的各个步骤。
应用程序
主机与服务
RCM 在启动前检查的内容
- 服务处于
ok状态,主节点已知。 - 目标副本处于
IN_SYNC状态。 - 两台主机的全部四个节点均有响应。
- 目标副本未因许可证而暂停。
- 这些节点上没有正在运行的数据库复制或提升操作。
如果出现问题,RCM 会拒绝并以代码形式给出原因。在此之前,未做任何更改。
如果出现问题
- 在不可返回点之前。错误、超时或取消会使旧主节点重新上线。服务在旧主机上保持
ok。如果旧主节点无法重新上线,服务会变为failed:使用gfix -online normal使数据库上线,然后运行resume。 - 在不可返回点之后。无法取消。错误会将服务置为
failed。 - rejoin 期间出错。新主节点正常工作,但没有副本:
degraded_no_replica。运行hqbirdrcm rejoin -service shop。
hqbirdrcm operations show -id <id> hqbirdrcm operations cancel -id <id>
在浏览器中,这对应 Operations 页面以及服务页面上的 Cancel 按钮。
- 停止写入旧主节点进入完全关闭状态。节点等待连接结束:默认 120 秒,最多 900 秒。开关
-force N会在 N 秒后断开连接。 - 追赶RCM 每秒询问副本是否已应用最后一个段。默认限制为 300 秒。
- 一次 Firebird 重启在新主节点上,无需等待窗口期。在 rejoin 期间,旧主机的 Firebird 仅在副本节点需要时重启。
- Rejoin 是数据库复制新主节点通过 nbackup 将数据库复制到旧主机。对于大型数据库,这需要很长时间,因此命令最多等待操作 2 小时。
- RCM 重启每个步骤在调用节点之前都会写入磁盘。重启后,RCM 从当前步骤继续操作。
- 服务锁在 switchover 或 rejoin 运行期间,RCM 会拒绝这些节点上的其他更改:设置、Firebird 重启、复制、传输暂停。
到旧主节点的连接会在停止写入步骤关闭。应用程序必须重新连接。使用路由器时,连接字符串保持不变。不使用路由器时,应用程序需连接到新主节点的地址:hqbirdrcm where -service shop 会给出该地址。
HAProxy · Linux · 一个连接字符串
路由器:应用程序保持相同地址
路由器运行在应用程序主机上,使 HAProxy 始终指向每个服务的主节点。应用程序连接到 <router host>:<service port>。在 switchover 或 failover 之后,连接字符串保持不变。
路由器如何选择主机
- 它从 RCM 获取服务表:纪元、主节点主机、Firebird 地址。
- 每 2 秒它询问主节点:“你是这个纪元的主节点吗,数据库是否在线?”
- 回答“是”:该主机接受连接。
- 回答“否”:不接受新连接,已打开的连接保持。
- 新纪元:旧主节点的会话立即关闭。
如果 RCM 不可用,路由器使用最后一张表。路由器将其保存在自己的磁盘上。
如何添加路由器
路由器是带有 router 角色的集群成员。在集群页面上添加它,就像添加主节点或副本一样。该主机上的 fbagent 会获得证书、写入配置并注册服务。主机上必须安装 HAProxy。
服务描述中的 router_port 设置服务端口。你可以有多个路由器:每个应用程序主机上一个。
RCM 中的设置 → 路由器页面显示路由器及其报告:路由器应用了哪个纪元以及它指向哪个主机。
- 连接中断当主节点变更时,已打开的连接会关闭。应用程序必须重新连接到同一地址。
- 客户端地址Firebird 看到的是 HAProxy 地址,而不是应用程序地址。基于客户端 IP 的访问规则在路由器后面不起作用。
- 仅限 Linux路由器在 Linux 上运行。数据库服务器可以位于 Windows 和 Linux 上。
- 见证节点路由器会告知 RCM 它们能否访问主节点的 Firebird 端口。没有它们,自动故障转移不会开启。
主节点主机丢失 · 手动或按规则
故障转移:副本接管主节点角色
当主节点主机无响应时,你需要故障转移。副本使用它已接收的段成为主节点。主节点未发送的内容将丢失。因此操作员必须明确接受损失。
hqbirdrcm failover -service shop -check # 将丢失什么 hqbirdrcm failover -service shop -to db2 -accept-data-loss # 开始
不带 -accept-data-loss 开关时,该命令只进行检查并显示损失估计:主节点的最后一个段、副本接收并应用了多少个段,以及至少丢失多少个段。
在浏览器中,这是服务页面上的故障转移按钮。只有当操作员勾选了数据丢失复选框并输入了服务名称时,它才会启动操作。
- 1检查主节点无响应,副本有可用的副本
- 2追赶副本应用它收到的所有内容;限制 60 秒
- 3提升不可返回点:新 GUID、Firebird 重启
- 4新纪元副本成为主节点;旧主节点等待被关闭
- 主节点仍有响应RCM 拒绝:
master_reachable。请执行切换,或先停止主节点。 - 滞后的副本接受
LAGGING状态。需要新副本的副本不适用。 - 多个副本默认情况下,RCM 选择应用段数更多的那个,然后选择优先级更高的那个。
- 故障转移之后服务处于
degraded_no_replica状态:主节点工作,但没有副本。在旧主机恢复之前,无法重新加入。 - 处于失败状态的服务手动故障转移也适用于它。当主节点的 Firebird 挂起且你无法快速重启它时,这是出路。
- 排除的表RCM 从副本或旧主节点的最后统计信息中获取它们的列表。如果没有列表,请在新主节点的发布页面上设置表。
- 追赶限制
-apply-timeout开关,默认 60 秒,最多 3600。
自动故障转移 可选
RCM 可以自行启动故障转移。此功能默认关闭。你为每个服务单独开启规则:在浏览器中的服务页面上或使用命令。
hqbirdrcm policy -service shop # 显示规则
hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30
RCM 每 10 秒检查一次条件,只有当所有条件都为真时才启动故障转移。
| 条件 | 原因 |
|---|---|
| 主节点静默 90 秒 | 主节点不发送统计信息。 |
| 从 RCM 到主节点的直接调用失败(5 秒) | 这不仅仅是统计信息延迟。 |
| 超过一半的路由器无法访问主节点的 Firebird 端口 | 应用程序也无法连接。 |
| 副本节点 90 秒内未见到主节点 | 第三方见证。 |
| 副本滞后为 30 秒或更少 | 数据丢失限制。 |
| 自上次自动故障转移以来已过去一小时 | 主节点不会在主机之间跳转。 |
| RCM 已运行超过 90 秒 | 重启后,RCM 没有最新数据。 |
服务状态为 ok,节点上没有正在运行的复制或提升操作 | 与正在运行的工作没有冲突。 |
- 需要路由器该规则需要路由器和服务器端口。如果缺少其中之一,规则不会启用:
no_witnesses。请布置路由器,使大多数路由器不在主主机上。 - 仅一次自动故障转移后,规则会自动关闭。只有操作员才能重新启用它。
- 为什么没有启动RCM 将等待原因与服务规则一起保存,并将每个新原因写入其日志一次。
- 日志该操作以
system:autofailover身份运行。第一条记录说明见证者看到了什么。
30 秒限制仅涵盖副本已接收但尚未应用的队列。主库已写入但未发送的段不包含在内。操作报告会显示它们的数量。
隔离 · 重新加入 · 挂起的主库 · 恢复
重新加入与恢复
故障转移后,集群中有两个曾作为主库的文件。你必须关闭旧主库,使其不再接受写入,并将其作为副本重新带回。RCM 自行完成第一步,第二步由操作员命令触发。
关闭旧主库(隔离)
RCM 每 10 秒尝试关闭旧主库。当其节点响应时,它会获得“已关闭”角色并停止发送段。每次隔离都会写入审计日志。
- 模式
route(默认)。旧主库数据库保持在线。路由器不再使用它。 - 模式
shutdown。RCM 首先停止数据库。连接在 5 秒后关闭。
hqbirdrcm policy -service shop -fence-mode shutdown
带回旧主库(重新加入)
当旧主机恢复工作后,启动重新加入。如果尚未完成,RCM 首先关闭旧主库。然后新主库将其数据库复制到旧主机上的相同路径。
hqbirdrcm rejoin -service shop
旧文件不会被删除。它保留在新文件旁边,命名为 <name>.pre-reinit-<time>.fdb。此文件和旧主库的归档包含新主库没有的更改。
在 route 模式下,直接连接到旧主机(而非通过路由器)的应用程序仍可写入旧数据库。这些更改不会到达新主库。如果某些应用程序不使用路由器工作,请启用 shutdown 模式。
挂起的主库
Firebird 可能挂起,端口仍然开放,但无法连接到数据库。端口检查无法发现这种情况。因此节点本身每分钟连接数据库一次,限制为 10 秒。
- 一分钟无响应:严重警报
firebird_not_answering。 - RCM 将服务设置为
failed并写入原因:节点、主机、时间。 - 此状态下不会启动自动故障转移。
处理方法:保存 Firebird 线程堆栈和 firebird.log,在主主机上重启 Firebird,然后运行 resume。如果无法快速重启,请停止主节点并启动故障转移。
离开失败状态
hqbirdrcm resume -service shop -check hqbirdrcm resume -service shop
RCM 直接询问主节点并检查:
- 服务上没有正在运行的操作;
- 主节点有响应;
- 其 Firebird 接受连接;
- 该主机是当前纪元的主库,数据库在线。
如果另一主机上的副本跟随主库,服务将变为 ok。否则变为 degraded_no_replica:此时运行 rejoin。
转为正常 · 提升为主库
手动副本提升:分步说明
对于属于服务的数据库,请使用 switchover 和 failover:它们会自行完成以下所有步骤。手动路径保留给没有服务的数据库。“转为正常”使副本成为独立的工作数据库:用于报表、测试或故障场景。“提升为主库”使副本成为新的主库。
提升适用于一对伴随节点:同一 Firebird 实例上的副本节点和主节点。数据库文件保持原位;控制权转移到伴随节点。每个步骤在数据库行中可见。如果某步骤被中断,请再次点击按钮:已完成的步骤不会重复。
连接
RCM 显示的内容
为什么需要新的 GUID
没有它,新主库将以旧主库的 GUID 写入段,其副本会拒绝这些段。节点通过 nbackup 就地给数据库分配新的 GUID,无需重启 Firebird。这适用于 2.5、3.0、4.0 和 5.0。
使用新 GUID 后,旧的 nbackup 链不再适用。请制作新的级别 0 副本。
无服务的手动 switchover
- 停止应用程序对旧主库的写入。
- 等待
IN_SYNC和空队列。 - 点击“验证”:行数匹配。这仅检查行数。
- “提升为主库”,等待 FINALIZE 步骤。
- 将应用程序切换到新的主节点。
- 创建级别 0 的 nbackup 副本,并连接新的副本节点。
手动提升不会检查应用程序是否仍在向旧主节点写入,也不会将旧主节点恢复为副本节点。请先自行停止写入。Switchover 会为你完成这两步:停止写入并将旧主节点恢复。
重启 · 参数 · 证书
设置与安全
Firebird 仅在启动时读取复制设置。因此,由谁重启以及何时重启至关重要。规则很简单:主节点的 Firebird 绝不会被自动重启。只有一个例外:switchover 和 failover。在这两种情况下,重启是操作员发起的操作的一部分,或是由操作员启用的规则所发起的操作的一部分。
| 节点 | 谁重启 Firebird |
|---|---|
| 主节点 | 只有你。主节点不会自行重启 Firebird。 |
| 副本节点,同一 Firebird 上有主数据库 | 你。复制窗口中的权限仅允许该节点停止 Firebird,以替换或删除旧的副本文件。 |
| 副本节点,不允许自动重启 | 你。 |
| 其他副本节点 | 该节点,在其重启窗口内。在一系列复制之后重启一次,而不是每个数据库之后都重启。 |
多数据库的复制参数
选择数据库:RCM 按 Firebird 版本和角色对它们进行分组。对于每个参数,选择一个操作:保留、设置、重置为上一级或不写入。你可以看到当前值的来源:数据库、节点或 Firebird。
预览会检查节点上的值,不做任何更改。它还会显示谁将重启 Firebird,以及这会影响多少个数据库。
- 时间窗口你请求的主节点重启:22:00–05:00。副本节点:任意时间。手动提升为主节点会同时重启两台 Firebird 服务器,不受时间窗口限制。Switchover 只重启一台 Firebird:在新主节点上。完整复制速度:23:00–05:00。
- 分段速度默认 50 MB/s,短时峰值 200 MB。立即生效,无需重启。
- 移动副本文件移动到另一个子文件夹,无需重新复制;出错时回滚。
- 手动配置的副本节点无需重新复制即可将其纳入管理。RCM 通过 GUID 匹配文件。
- 命令行复制、检查、暂停、提升及其他 RCM 命令也存在于
hqbirdrcm中。Switchover、failover 和服务规则可通过三种方式使用:在浏览器中、通过命令以及通过 API。 - 查看者角色具有查看者角色的 RCM 用户可以看到一切并运行检查。该用户被禁止进行任何更改。
- 6 种语言RCM 界面。警报说明为英文。
一份文档描述整个集群
成员、其角色以及主 → 副本链接在 HQ Monitor 或 RCM 的集群页面上设置。每台主机上的 fbagent 获取该描述,并自行安装和配置节点。没有 HQCenter 时,RCM 管理一个最多包含 3 台主机的集群。
mTLS 与证书
所有集群通道均受使用共享 CA 的 mTLS 保护。密钥在成员主机上创建,且永不离开该主机:只有证书请求会发出。证书有效期为 90 天,并在到期前 30 天自动续期。新的密钥和新的 CA 在管理员命令下签发。
RCM Web 界面通过 HTTPS 在端口 7444 上运行。当主机上启用 RCM 时,代理会在防火墙中打开此端口。使用用户名和密码登录;你必须更改初始密码。它位于 RCM 主机上的 rcm-initial-password 文件中,不会显示在屏幕上。更改密码后,代理会删除此文件。登录页面显示集群 CA 哈希:将其与 RCM 主机上设置摘要中的“CA hash”行进行比较。每次更改和登录都会写入审计日志。
命令 · 超时 · 端口 · 拒绝代码
参考
命令
| 任务 | 命令 |
|---|---|
| 在主机上启用 RCM | fbagent --cluster-init <id> |
| 打开或关闭配对窗口 | fbagent --cluster-pairing on|off |
| 链接主机 | hqbirdrcm cluster link -hosts db1,db2 -master db1 |
| 为没有配对窗口的主机生成令牌 | hqbirdrcm cluster join-token -note db2 |
| 离开集群 | fbagent --cluster-leave |
| 描述服务 | hqbirdrcm services put -id shop -file shop.json |
| 主节点所在位置 | hqbirdrcm where -service shop |
| 计划内的主节点迁移 | hqbirdrcm switchover -service shop [-to db2] [-check] |
| 紧急迁移 | hqbirdrcm failover -service shop -accept-data-loss |
| 将旧主节点恢复为副本节点 | hqbirdrcm rejoin -service shop |
| 退出故障状态 | hqbirdrcm resume -service shop [-check] |
| 自动 failover 规则 | hqbirdrcm policy -service shop -auto-failover on|off |
| 操作的进度与取消 | hqbirdrcm operations show|cancel -id <id> |
超时与间隔
| 项目 | 默认值 | 如何更改 |
|---|---|---|
| Switchover:等待连接结束 | 120 秒,最多 900 秒 | -quiesce-timeout |
| Switchover:副本应用最后一个段 | 300 秒 | -apply-timeout |
| Switchover:命令等待操作结束 | 2 小时 | -timeout |
| Failover:副本应用已接收的内容 | 60 秒,最多 3600 秒 | -apply-timeout |
| 自动 failover:主节点无响应 | 90 秒 | -failover-delay |
| 自动 failover:延迟上限 | 30 秒 | -max-data-loss |
| 自动 failover:两次之间的暂停 | 1 小时 | -min-interval |
| 检查 failover 条件及旧主节点隔离 | 每 10 秒 | 无法更改 |
| Firebird 挂起:连接探测 | 每分钟一次,上限 10 秒 | 无法更改 |
| 路由器:主节点轮询 | 每 2 秒 | 无法更改 |
| 配对窗口、加入令牌 | 24 小时 | 窗口:请求中的小时数 |
| 链接主机:代理证书、节点启动 | 最多 10 分钟,最多 20 分钟 | 无法更改 |
端口
| 端口 | 用途 |
|---|---|
7443 | RCM:节点、代理和路由器,mTLS。 |
7444 | RCM:Web 界面和操作员命令,HTTPS。 |
7450–7459 | 代理配对窗口:7450 + 槽位。 |
7051–7060 | 代理的第一个节点:7051 + 槽位。 |
7061–7070 | 代理的第二个节点:7061 + 槽位。 |
router_port | 路由器上的服务端口,例如 3051。 |
拒绝代码
| 代码 | 含义 |
|---|---|
not_in_sync | 目标副本滞后:switchover 不会启动。 |
busy | 节点上正在运行数据库复制或提升操作。 |
service_busy | 服务上已有操作在运行。 |
master_reachable | 主节点有响应:不需要 failover。 |
replica_unusable | 副本没有可用的数据库副本。 |
data_loss_not_accepted | 未使用 -accept-data-loss 开关的 failover。 |
past_no_return | 在不可返回点之后取消。 |
no_witnesses | 没有路由器的自动 failover。 |
node_port_clash | 主机上的另一个成员使用了该节点端口。 |
seats_exceeded | 集群已有 3 台主机。 |
要点简述
常见问题
switchover 和 failover 有什么区别?
Switchover 是计划内的:两台主机都在工作,不会丢失数据,旧主节点会自动作为副本回归。Failover 是紧急情况:主节点主机丢失,主节点未发送的数据会丢失,你需要用单独的命令将旧主节点恢复。
在 switchover 期间应用程序会看到什么?
当 RCM 停止写入时,与旧主节点的连接会关闭。在副本成为主节点之前,无处可写。在新纪元之后,应用程序会重新连接:连接到同一个路由器地址或新主节点的地址。
switchover 需要多长时间?
写入暂停分为三部分:等待连接结束(默认最多 120 秒)、追赶最后一个段,以及在新主节点上重启一次 Firebird。旧主节点的重新加入在此之后于后台运行。其时间就是数据库复制的时间。
可以在没有路由器的情况下工作吗?
可以。switchover 和手动 failover 无需路由器即可工作。此时应用程序从 RCM 本身获取主节点地址。没有路由器时自动 failover 不会启用:路由器是它的见证者。
自动 failover 可能丢失多少数据?
如果副本滞后超过 30 秒,该规则不会启动。但主节点已写入而未发送的段会丢失。操作报告会显示其数量。旧数据库文件会保留:这些更改仍保留在其中以及旧主节点的归档中。
服务处于 failed 状态。我该怎么办?
在 Services 页面上查看原因。如果主节点的 Firebird 挂起,请重启它。然后 hqbirdrcm resume -service <id> -check 会显示是什么阻塞了服务,而不带该开关的 resume 会让服务恢复工作。
旧主节点的重新加入需要多少空间?
重新加入是一次新的数据库复制。适用与任何复制相同的规则:数据库大小的 105%。failover 之后,旧文件会保留在新文件旁边,因此旧主机需要容纳两个文件的空间。
它能在 Windows 上运行吗?
节点和 RCM 可在 Windows 和 Linux 上运行。路由器只能在 Linux 上运行。