此页面为机器翻译。请阅读英文原文。 English

集群与复制 HQbird Cluster

主节点将变更写入段,并通过安全通道发送到副本。节点通过 nbackup 自行创建新副本的数据库拷贝,用户可继续工作。集群管理器(RCM)显示所有节点的延迟、队列和错误。它还能将主节点迁移到另一台主机:作为计划内迁移,不丢失数据;或作为紧急迁移,在主节点主机丢失时执行。

  • Firebird 2.5 · 3 · 4 · 5
  • nbackup 无需停止主节点即可复制
  • switchover 不丢失数据
  • failover 手动或按规则执行
  • router 连接字符串保持不变
  • mTLS 所有通道均启用

节点 · RCM · 布局

集群如何工作

每个 Firebird 旁边都运行一个节点。节点只有一个角色:主节点或副本。主节点发送段,副本节点接收段,副本的 Firebird 将其应用到自己的数据库拷贝上。

每个集群有一个 RCM。它运行在任何能访问所有节点的主机上。节点向其发送统计信息,它向节点传递操作员命令。RCM 通过数据库 GUID 而非节点名称来关联主节点和副本。

RCM 不会自行安装。当需要集群时,你在某台主机上启用它。你可以在应用程序前面放置一个路由器:它始终将应用程序发送到当前主节点。

集群示意图:主节点向副本节点发送段,RCM 监控所有节点
组件数量功能
Firebird (HQbird)每台数据库服务器上存储数据库并写入复制段。
fbagent每个 Firebird 实例一个在节点请求时停止和启动 Firebird。
hqclusternode每个实例和角色一个设置复制、发送段、为副本创建数据库拷贝。
hqbirdrcm (RCM)每个集群一个Web 界面、命令、告警、统计信息。执行 switchover 和 failover。
路由器 (hqclusternode router)可选,位于应用程序主机上,Linux保持 HAProxy 指向每个服务的主节点。应用程序连接到路由器。
  • 相同主版本主节点为 5.0,副本也为 5.0。否则副本会在任何数据传输之前拒绝。
  • HQbird 2.5 和 3.0通过 replconf 插件进行复制。过滤器定义表集合。
  • 每个主节点独立文件夹副本将数据库放在以主节点命名的文件夹中。来自不同主节点的同名数据库不会冲突。
  • 没有 fbagent,就没有变更如果 fbagent 不可用,节点会拒绝任何更改配置的操作。它不会“部分”工作。
  • 无 RCM 的节点节点可以独立工作。RCM 用于总览和命令。
  • 通道压缩适用于慢速网络:每个对等节点使用 zstd,立即生效。
  • 不使用 HQCenter 时最多 3 台主机每台带有主节点或副本的主机在集群中占用一个位置。RCM 不接受第四台主机。

RCM · 配对窗口 · Link 主机 · 槽位

如何构建集群

HQbird 安装程序将集群程序放到每台服务器上,但不会启用它们。RCM 和配对窗口默认关闭。你分三步构建集群:在一台主机上启用 RCM,在其他主机上打开配对窗口,用一个按钮链接主机。

  1. 1启用 RCM在一台主机上:在 HQ Monitor 中或使用 fbagent --cluster-init
  2. 2打开配对窗口在其他主机上,持续 24 小时
  3. 3链接主机RCM 发现代理、颁发证书并启动节点

第 1 步。在单台主机上启用 RCM

在 HQ Monitor 中,打开“Cluster on this server”部分并开启 RCM。在主机上执行命令也能达到同样效果。代理会创建集群 CA、RCM 证书和第一个用户。防火墙中会开放端口 7443 和 7444。

fbagent --cluster-init <id>

在安装过程中,开关 --rcm on(Linux)或 /RCM(Windows)也能达到同样效果。

第 2 步。配对窗口

在每台将要加入集群的主机上,代理会开放配对端口 24 小时。当窗口结束或代理已加入集群时,该端口会自动关闭。

fbagent --cluster-pairing on

HQ Monitor 中的按钮也能达到同样效果。在安装过程中:--cluster-pairing on 或 /DISCOVERY。

第 3 步。连接主机

在 RCM 中,打开 Settings → Link hosts 并输入主机,每行一个。Check hosts 按钮会读取每台主机的端口 7450–7459。每个有响应的代理对应表格中的一行。

  • 一行显示:端口、实例、Firebird 版本和端口、节点端口、证书指纹。
  • 用复选框选择行并选择主节点。有错误的行不会阻止其他行。
  • Link 会为每个代理签发证书,创建成员以及主节点 → 副本节点的链接。
  • RCM 最多等待代理证书 10 分钟,最多等待节点启动 20 分钟。
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1

将行中的指纹与代理在其主机上显示的指纹进行比较。这样你就能知道连接的是正确的服务器。

  • 一台主机上的多个代理每个代理都有自己的槽位,从 0 到 9。配对端口为 7450 + 槽位,节点端口为 7051 + 槽位和 7061 + 槽位。安装程序会选择槽位;开关 --pairing-port 可显式设置它。
  • 添加成员Cluster 页面会建议一个空闲的节点端口,并拒绝此主机上其他成员正在使用的端口。
  • 成员名称<host name>-master 和 <host name>-replica。RCM 不会重命名成员:新名称就是新成员。
  • 不使用配对窗口RCM 为一个代理签发令牌,有效期 24 小时。在新主机上:使用此令牌和 CA 哈希执行 fbagent --cluster-join。
  • RCM 所有者在主机上开启 RCM 的代理。此主机上的第二个代理会被拒绝。如果所有者被移除,fbagent --cluster-init --rcm-takeover 会将 RCM 转移到另一个代理。集群会获得新的 CA,你必须重新连接成员。
  • 离开集群fbagent --cluster-leave 会停止节点、关闭其端口并删除集群证书。节点文件夹会保留;--remove-data 会删除它们。如果 RCM 撤销了代理或移除了其最后一个成员,代理会自动离开。
  • 防火墙代理会自行打开和关闭其集群端口。它不会关闭在它之前就已开放的端口。
  • 移除 HQbird当其他代理使用其 RCM 时,RCM 所有者不会被移除。安装向导会询问;静默模式需要 --force 或 /FORCE。

本地 HQ Monitor 中的 Clusters 页面通过 RCM 主机上的代理工作。它不需要 RCM 密码。只有管理员才能看到“Cluster on this server”部分。

初始化 · reinit

无需停止主节点即可创建新副本

副本只能从主节点获取数据库。主节点使用 nbackup -L 冻结文件,分部分发送,并立即移除锁。主节点用户全程可以继续工作:他们的更改会写入 .delta,之后会返回数据库。

gbak 和手动复制文件在这里不可行。gbak 会更改数据库 GUID 并破坏主节点–副本节点链接。对运行中的数据库进行文件复制是不一致的。

    主节点用户

    工作中

    文件

    • 连接丢失传输会从最后接收的部分继续。未完成的副本会在副本节点上保留 24 小时。
    • 错误节点会移除锁、删除未完成的文件并将数据库设置为 FAILED。下一次尝试会从已知状态开始。
    • 锁定期间的事务它们不会丢失。Firebird 4 和 5:节点会找到在 nbackup -L 时刻打开的事务,副本会从段中重放它们。HQbird 2.5 和 3.0:节点会等待此类事务结束(约一分钟),否则复制不会开始。
    • 一次一个数据库默认情况下,主节点一次复制一个数据库。其他数据库在队列中等待。
    • 此数据库的其他副本复制运行期间,它们不会获得此数据库的段。之后它们会追上。
    • 自动重新初始化RCM 可以在设定的窗口内自行再次复制处于 NEEDS_REINIT 状态的数据库。默认关闭。

    温和模式会等待长事务

    在锁定之前,节点会查找在主节点归档中最旧段之前开始的写事务。如果归档为空(首次复制),限制就是节点开启发布的时间。副本无法重放此类事务,会停止。因此,只要此类事务处于打开状态,复制就不会开始。

    RCM 会显示具有最旧事务的五个连接:用户、客户端、时长、当前查询。你可以断开它们并立即重复复制。复制等待期间,主节点的归档不会被清理,但最多不超过 1000 个段。之后清理会继续,RCM 会发出警报。

    普通模式会立即锁定数据库,不进行检查。

    开始复制。模式(温和或普通)、带复选框的副本文件夹、允许停止副本节点的 Firebird。

    空间与速度

    位置所需条件
    主节点,数据库卷至少 105 % 的数据库大小可用。.delta 在复制期间增长。
    副本节点,数据库卷105 % 加上卷预留 free_space_floor_gb(默认 1 GB)。节点会预先预留完整大小;无需第二份副本。重复复制时,旧文件会保留到最后。如果没有空间容纳两个文件,“Remove the old replica”复选框会在传输前删除旧文件。
    夜间速度在传输窗口内(默认 23:00–05:00)恒定,默认 100 MB/s。
    白天速度实测磁盘速度的一部分,默认一半。白天启动的复制会在夜间自动加速。

    空间会检查两次,且仅在加锁前:首先由 RCM 根据统计信息检查,然后由节点在两侧进行实时测量检查。节点检查不可跳过:它保护磁盘在复制过程中不被填满。

    Firebird 4 和 5 · HQbird 2.5 和 3.0

    发布:哪些表会同步到副本

    Firebird 4 和 5 仅在发布开启时,才将已发布表的变更写入段。没有发布,变更不会到达副本。节点会察觉这一点并发出警报。“Sync publication”按钮会开启发布并构建正确的表列表。

    发布表。每张表的键及其状态:已发布、尚未发布、已移除、无键。

    同步会做什么

    • 开启发布,除非操作员有意关闭了它;
    • 添加所有具有主键或唯一索引的表;
    • 移除没有键的表以及操作员排除的表;
    • 关闭新表的自动添加。

    没有键,副本无法为 UPDATE 和 DELETE 找到对应行。因此这样的表无法发布:请添加键并重新同步。

    • 每小时检查如果发布关闭,节点每 2 分钟检查一次。对于有副本的数据库,这是一条警报。
    • 排除列表存储在主节点上。当副本被提升为主节点时,该列表会迁移到新的主节点。
    • 新表不会自行加入发布。请创建键并点击“Sync publication”。
    • 无发布时复制如果发布关闭或没有表(publication_off),主节点会拒绝复制数据库。初始化窗口提供“Sync publication and initialize”。
    • HQbird 2.5 和 3.0没有发布。复制设置中的包含和排除过滤器定义了表集合。

    发布关闭或表被排除期间所做的变更不会到达副本,即使之后开启发布也是如此。“Verify”仅比较行数;它不会发现丢失的 UPDATE。如果数据库在发布关闭期间有写入,请重新复制数据库。

    延迟 · 归档 · 警报 · 数据检查

    监控:副本不会悄然落后

    节点每 30 秒向 RCM 发送统计信息。对于每个主–副本对,你可以看到:最后一个段、已发送、已确认和已应用的数量、队列以及以秒为单位的延迟。

    传输与队列。每条主 → 副本路径一行:段、队列和延迟。
    数据库状态RCM 中的分组含义
    IN_SYNCOk副本已收到所有段。
    LAGGINGPending副本落后,段在队列中。
    SEEDINGPending数据库正在复制到副本。
    NEEDS_REINITError副本必须重新复制。
    FAILEDError上次复制失败。

    主节点的归档分阶段清理

    主节点保留已发送的段,以便副本可以再次请求它们。如果空间不足,它会先删除确定不需要的内容。

    1. 1所有副本已应用,且早于限制默认限制为 2 天
    2. 2已应用,但晚于限制如果可用空间少于 1 GB;警报
    3. 3尚未应用作为最后一步;副本需要重新复制

    带操作指引的警报

    RCM 了解 20 多种警报类型,每种都有相应的操作指引。你可以确认警报、将其静音 60 分钟或删除。如果原因仍然存在,警报会再次出现。

    没有电子邮件或 webhook:请查看“Alerts”页面或轮询 RCM API。

    警报。代码、节点、消息和操作。
    代码发生了什么
    backlog_warn / backlog_critical主库有 32 / 48 个未归档的段。
    apply_error、replication_stopped副本无法应用某个段。
    replication_guid_mismatch主库数据库 GUID 已更改:还原或文件替换。
    segment_missing、sequence_gap段序列已中断。
    firebird_down、firebird_log_errorFirebird 已停止或写入错误。
    firebird_not_answeringFirebird 端口已打开,但连接数据库已失败一分钟。
    master_publication_off带有副本的数据库的发布已关闭。
    data_mismatch定期数据检查发现差异。数据检查需单独开启。
    数据检查。主库和副本上每张表的行数。

    主库与副本比较

    Verify 会统计主库和副本上所选表的行数并进行比较。它不比较行内容:不会发现已更改的行。请在空闲时段运行:在活跃写入下,计数可能不同。

    定期检查默认关闭:COUNT(*) 会读取整张表。通过节点参数 data_check_enabled 开启;每 2 小时运行一次。新的检查设置立即生效,无需重启节点。检查在主库和副本处于同一段时比较数据。发现差异会触发告警。从发布中排除的表显示为“未发布”,而不是错误。

    • 暂停传输适用于一个或多个数据库。执行“恢复”后,传输从最后一个段继续,无需重新复制。在此期间归档会增长。
    • 远程节点日志replication.log、firebird.log 和节点日志可直接在 RCM 中查看,无需登录服务器。
    • 无许可证主库停止传输;Firebird 和数据库继续工作。安装许可证后,传输会在一分钟内自动恢复。
    • 命令日志每条 RCM 命令都会记录其执行者和结果。集群报告保存在一个 JSON 文件中。

    服务 · 纪元 · 主库所在位置

    服务:一个数据库分布在多台主机上

    服务是一个逻辑数据库分布在多台主机上。主库可以在主机之间迁移,但服务名称和数据库别名不变。应用程序和路由器向 RCM 询问服务的主库现在在哪里。

    每次主库变更都会获得下一个编号:纪元。RCM 保留纪元历史:主库何时变更以及原因。RCM 通过节点和文件路径查找服务,而不是通过 GUID:在切换时数据库 GUID 会改变,但路径保持不变。

    服务描述的内容

    • alias:databases.conf 中的数据库名称。新主库会自行写入。
    • members:每台主机一条记录:主库节点、副本节点、文件路径、优先级。
    • router_port:路由器接受此服务应用程序的端口。
    • policy:自动故障转移的规则以及关闭旧主库的模式。

    服务的每台主机在同一个 Firebird 上运行两个节点:一个主库节点和一个副本节点。这与上图“每台主机两个节点”的布局相同。

    主库节点需要为客户端提供 Firebird 地址:advertise_addr 参数。没有它,RCM 无法告诉应用程序连接到哪里。

    主库现在在哪里

    hqbirdrcm services put -id shop -file shop.json
    hqbirdrcm services
    hqbirdrcm where -service shop
    hqbirdrcm where -db shop

    where 会回答:主库主机和地址、纪元编号、副本以及发现的问题。通过 API,应用程序可以等待新的纪元,而无需每秒轮询 RCM。

    RCM 中的 Services 页面为每个服务显示相同的信息:状态、纪元、主库、Firebird 地址、副本和问题。Find 字段可通过别名、服务名称、GUID 或路径查找数据库。

    浏览器中的服务

    hqbirdrcm 命令为服务所做的一切也都在 RCM Web 界面中。你不需要为此使用命令行。

    • 服务页面状态及其原因、主库、带有延迟的副本、主机及其角色、路由器、等待关闭的旧主库、自动故障转移规则、逐步运行的操作以及主库历史。
    • 操作按钮Switchover、Failover、Rejoin、Resume。每个按钮先运行检查并显示问题。只有在你确认后操作才会开始。第二次点击不会启动第二个操作。
    • 服务表单New service 按钮创建服务:名称、别名、路由器端口以及每台主机一行。表单会提供节点及其可见的数据库。Check 检查表单,Save 先显示变更列表。
    • 操作一个页面列出所有切换、故障转移和重新加入,最新的在前。操作运行时,每个页面的页眉都有一个指向它的标签链接。
    • 删除服务仅删除 RCM 中的记录。对话框会说明保留的内容(数据库、复制、节点角色、别名)和丢失的内容(历史、规则、路由器上的端口),并要求你输入服务名称。
    • 查看者角色具有此角色的用户可以看到所有页面并运行检查,但没有操作按钮。
    服务状态含义该做什么
    ok主库正常工作,另一台主机上的副本跟随它。无需操作。
    rejoining旧主库正作为副本回归。等待:数据库正在复制。
    degraded_no_replica主库正常工作,但没有副本。这发生在故障转移后或重新加入出错后。hqbirdrcm rejoin
    failedRCM 无法确定状态,或主节点的 Firebird 无响应。检查后执行 hqbirdrcm resume

    处于 failed 状态的服务既不会启动 switchover,也不会启动自动 failover。只有操作员才能将其移出此状态:使用 resume 命令、rejoin 或手动 failover。

    计划内迁移主节点 · 无数据丢失

    Switchover:主节点迁移到另一台主机

    Switchover 将服务的主节点迁移到另一台主机,且不丢失数据。RCM 自身会停止旧主节点上的写入,等待副本应用最后一个段,然后将其设为主节点。随后,旧主节点以相同路径作为新主节点的副本重新加入集群。

    它适用于计划内工作:操作系统更新、磁盘更换、将负载迁移到另一台服务器。先检查,再启动:

    hqbirdrcm switchover -service shop -check   # 仅检查,不做任何更改
    hqbirdrcm switchover -service shop -to db2  # 将主节点迁移到 db2

    该命令会执行操作直至完成,并打印每个步骤。退出码 0 表示成功。RCM 服务页面上的 Switchover 按钮执行相同操作:先检查,再确认,然后在屏幕上显示操作的各个步骤。

      应用程序

      正常工作

      主机与服务

      RCM 在启动前检查的内容

      • 服务处于 ok 状态,主节点已知。
      • 目标副本处于 IN_SYNC 状态。
      • 两台主机的全部四个节点均有响应。
      • 目标副本未因许可证而暂停。
      • 这些节点上没有正在运行的数据库复制或提升操作。

      如果出现问题,RCM 会拒绝并以代码形式给出原因。在此之前,未做任何更改。

      如果出现问题

      • 在不可返回点之前。错误、超时或取消会使旧主节点重新上线。服务在旧主机上保持 ok。如果旧主节点无法重新上线,服务会变为 failed:使用 gfix -online normal 使数据库上线,然后运行 resume。
      • 在不可返回点之后。无法取消。错误会将服务置为 failed。
      • rejoin 期间出错。新主节点正常工作,但没有副本:degraded_no_replica。运行 hqbirdrcm rejoin -service shop。
      hqbirdrcm operations show -id <id>
      hqbirdrcm operations cancel -id <id>

      在浏览器中,这对应 Operations 页面以及服务页面上的 Cancel 按钮。

      • 停止写入旧主节点进入完全关闭状态。节点等待连接结束:默认 120 秒,最多 900 秒。开关 -force N 会在 N 秒后断开连接。
      • 追赶RCM 每秒询问副本是否已应用最后一个段。默认限制为 300 秒。
      • 一次 Firebird 重启在新主节点上,无需等待窗口期。在 rejoin 期间,旧主机的 Firebird 仅在副本节点需要时重启。
      • Rejoin 是数据库复制新主节点通过 nbackup 将数据库复制到旧主机。对于大型数据库,这需要很长时间,因此命令最多等待操作 2 小时。
      • RCM 重启每个步骤在调用节点之前都会写入磁盘。重启后,RCM 从当前步骤继续操作。
      • 服务锁在 switchover 或 rejoin 运行期间,RCM 会拒绝这些节点上的其他更改:设置、Firebird 重启、复制、传输暂停。

      到旧主节点的连接会在停止写入步骤关闭。应用程序必须重新连接。使用路由器时,连接字符串保持不变。不使用路由器时,应用程序需连接到新主节点的地址:hqbirdrcm where -service shop 会给出该地址。

      HAProxy · Linux · 一个连接字符串

      路由器:应用程序保持相同地址

      路由器运行在应用程序主机上,使 HAProxy 始终指向每个服务的主节点。应用程序连接到 <router host>:<service port>。在 switchover 或 failover 之后,连接字符串保持不变。

      路由器示意图:epoch 变更前,应用程序通过路由器连接到 db1;变更后,连接到 db2 epoch 4 · 主节点在 db1 应用程序 router:3051 路由器 HAProxy db1 主节点 db2 副本 epoch 5 · 主节点在 db2 应用程序 router:3051 路由器 HAProxy db1 已关闭(隔离) db2 主节点
      纪元切换。路由器立即关闭旧主节点的会话,并在新主节点回答“就绪”时将其开放。应用程序使用的地址和端口保持不变。

      路由器如何选择主机

      • 它从 RCM 获取服务表:纪元、主节点主机、Firebird 地址。
      • 每 2 秒它询问主节点:“你是这个纪元的主节点吗,数据库是否在线?”
      • 回答“是”:该主机接受连接。
      • 回答“否”:不接受新连接,已打开的连接保持。
      • 新纪元:旧主节点的会话立即关闭。

      如果 RCM 不可用,路由器使用最后一张表。路由器将其保存在自己的磁盘上。

      如何添加路由器

      路由器是带有 router 角色的集群成员。在集群页面上添加它,就像添加主节点或副本一样。该主机上的 fbagent 会获得证书、写入配置并注册服务。主机上必须安装 HAProxy。

      服务描述中的 router_port 设置服务端口。你可以有多个路由器:每个应用程序主机上一个。

      RCM 中的设置 → 路由器页面显示路由器及其报告:路由器应用了哪个纪元以及它指向哪个主机。

      • 连接中断当主节点变更时,已打开的连接会关闭。应用程序必须重新连接到同一地址。
      • 客户端地址Firebird 看到的是 HAProxy 地址,而不是应用程序地址。基于客户端 IP 的访问规则在路由器后面不起作用。
      • 仅限 Linux路由器在 Linux 上运行。数据库服务器可以位于 Windows 和 Linux 上。
      • 见证节点路由器会告知 RCM 它们能否访问主节点的 Firebird 端口。没有它们,自动故障转移不会开启。

      主节点主机丢失 · 手动或按规则

      故障转移:副本接管主节点角色

      当主节点主机无响应时,你需要故障转移。副本使用它已接收的段成为主节点。主节点未发送的内容将丢失。因此操作员必须明确接受损失。

      hqbirdrcm failover -service shop -check                       # 将丢失什么
      hqbirdrcm failover -service shop -to db2 -accept-data-loss  # 开始

      不带 -accept-data-loss 开关时,该命令只进行检查并显示损失估计:主节点的最后一个段、副本接收并应用了多少个段,以及至少丢失多少个段。

      在浏览器中,这是服务页面上的故障转移按钮。只有当操作员勾选了数据丢失复选框并输入了服务名称时,它才会启动操作。

      1. 1检查主节点无响应,副本有可用的副本
      2. 2追赶副本应用它收到的所有内容;限制 60 秒
      3. 3提升不可返回点:新 GUID、Firebird 重启
      4. 4新纪元副本成为主节点;旧主节点等待被关闭
      • 主节点仍有响应RCM 拒绝:master_reachable。请执行切换,或先停止主节点。
      • 滞后的副本接受 LAGGING 状态。需要新副本的副本不适用。
      • 多个副本默认情况下,RCM 选择应用段数更多的那个,然后选择优先级更高的那个。
      • 故障转移之后服务处于 degraded_no_replica 状态:主节点工作,但没有副本。在旧主机恢复之前,无法重新加入。
      • 处于失败状态的服务手动故障转移也适用于它。当主节点的 Firebird 挂起且你无法快速重启它时,这是出路。
      • 排除的表RCM 从副本或旧主节点的最后统计信息中获取它们的列表。如果没有列表,请在新主节点的发布页面上设置表。
      • 追赶限制-apply-timeout 开关,默认 60 秒,最多 3600。

      自动故障转移 可选

      RCM 可以自行启动故障转移。此功能默认关闭。你为每个服务单独开启规则:在浏览器中的服务页面上或使用命令。

      hqbirdrcm policy -service shop                                     # 显示规则
      hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30

      RCM 每 10 秒检查一次条件,只有当所有条件都为真时才启动故障转移。

      条件原因
      主节点静默 90 秒主节点不发送统计信息。
      从 RCM 到主节点的直接调用失败(5 秒)这不仅仅是统计信息延迟。
      超过一半的路由器无法访问主节点的 Firebird 端口应用程序也无法连接。
      副本节点 90 秒内未见到主节点第三方见证。
      副本滞后为 30 秒或更少数据丢失限制。
      自上次自动故障转移以来已过去一小时主节点不会在主机之间跳转。
      RCM 已运行超过 90 秒重启后,RCM 没有最新数据。
      服务状态为 ok,节点上没有正在运行的复制或提升操作与正在运行的工作没有冲突。
      • 需要路由器该规则需要路由器和服务器端口。如果缺少其中之一,规则不会启用:no_witnesses。请布置路由器,使大多数路由器不在主主机上。
      • 仅一次自动故障转移后,规则会自动关闭。只有操作员才能重新启用它。
      • 为什么没有启动RCM 将等待原因与服务规则一起保存,并将每个新原因写入其日志一次。
      • 日志该操作以 system:autofailover 身份运行。第一条记录说明见证者看到了什么。

      30 秒限制仅涵盖副本已接收但尚未应用的队列。主库已写入但未发送的段不包含在内。操作报告会显示它们的数量。

      隔离 · 重新加入 · 挂起的主库 · 恢复

      重新加入与恢复

      故障转移后,集群中有两个曾作为主库的文件。你必须关闭旧主库,使其不再接受写入,并将其作为副本重新带回。RCM 自行完成第一步,第二步由操作员命令触发。

      关闭旧主库(隔离)

      RCM 每 10 秒尝试关闭旧主库。当其节点响应时,它会获得“已关闭”角色并停止发送段。每次隔离都会写入审计日志。

      • 模式 route(默认)。旧主库数据库保持在线。路由器不再使用它。
      • 模式 shutdown。RCM 首先停止数据库。连接在 5 秒后关闭。
      hqbirdrcm policy -service shop -fence-mode shutdown

      带回旧主库(重新加入)

      当旧主机恢复工作后,启动重新加入。如果尚未完成,RCM 首先关闭旧主库。然后新主库将其数据库复制到旧主机上的相同路径。

      hqbirdrcm rejoin -service shop

      旧文件不会被删除。它保留在新文件旁边,命名为 <name>.pre-reinit-<time>.fdb。此文件和旧主库的归档包含新主库没有的更改。

      在 route 模式下,直接连接到旧主机(而非通过路由器)的应用程序仍可写入旧数据库。这些更改不会到达新主库。如果某些应用程序不使用路由器工作,请启用 shutdown 模式。

      挂起的主库

      Firebird 可能挂起,端口仍然开放,但无法连接到数据库。端口检查无法发现这种情况。因此节点本身每分钟连接数据库一次,限制为 10 秒。

      • 一分钟无响应:严重警报 firebird_not_answering。
      • RCM 将服务设置为 failed 并写入原因:节点、主机、时间。
      • 此状态下不会启动自动故障转移。

      处理方法:保存 Firebird 线程堆栈和 firebird.log,在主主机上重启 Firebird,然后运行 resume。如果无法快速重启,请停止主节点并启动故障转移。

      离开失败状态

      hqbirdrcm resume -service shop -check
      hqbirdrcm resume -service shop

      RCM 直接询问主节点并检查:

      • 服务上没有正在运行的操作;
      • 主节点有响应;
      • 其 Firebird 接受连接;
      • 该主机是当前纪元的主库,数据库在线。

      如果另一主机上的副本跟随主库,服务将变为 ok。否则变为 degraded_no_replica:此时运行 rejoin。

      转为正常 · 提升为主库

      手动副本提升:分步说明

      对于属于服务的数据库,请使用 switchover 和 failover:它们会自行完成以下所有步骤。手动路径保留给没有服务的数据库。“转为正常”使副本成为独立的工作数据库:用于报表、测试或故障场景。“提升为主库”使副本成为新的主库。

      提升适用于一对伴随节点:同一 Firebird 实例上的副本节点和主节点。数据库文件保持原位;控制权转移到伴随节点。每个步骤在数据库行中可见。如果某步骤被中断,请再次点击按钮:已完成的步骤不会重复。

        连接

        保持

        RCM 显示的内容

        数据库行中的步骤。已完成的步骤为绿色,当前步骤为红色,后续步骤为灰色。

        为什么需要新的 GUID

        没有它,新主库将以旧主库的 GUID 写入段,其副本会拒绝这些段。节点通过 nbackup 就地给数据库分配新的 GUID,无需重启 Firebird。这适用于 2.5、3.0、4.0 和 5.0。

        使用新 GUID 后,旧的 nbackup 链不再适用。请制作新的级别 0 副本。

        无服务的手动 switchover

        1. 停止应用程序对旧主库的写入。
        2. 等待 IN_SYNC 和空队列。
        3. 点击“验证”:行数匹配。这仅检查行数。
        4. “提升为主库”,等待 FINALIZE 步骤。
        5. 将应用程序切换到新的主节点。
        6. 创建级别 0 的 nbackup 副本,并连接新的副本节点。

        手动提升不会检查应用程序是否仍在向旧主节点写入,也不会将旧主节点恢复为副本节点。请先自行停止写入。Switchover 会为你完成这两步:停止写入并将旧主节点恢复。

        重启 · 参数 · 证书

        设置与安全

        Firebird 仅在启动时读取复制设置。因此,由谁重启以及何时重启至关重要。规则很简单:主节点的 Firebird 绝不会被自动重启。只有一个例外:switchover 和 failover。在这两种情况下,重启是操作员发起的操作的一部分,或是由操作员启用的规则所发起的操作的一部分。

        节点谁重启 Firebird
        主节点只有你。主节点不会自行重启 Firebird。
        副本节点,同一 Firebird 上有主数据库你。复制窗口中的权限仅允许该节点停止 Firebird,以替换或删除旧的副本文件。
        副本节点,不允许自动重启你。
        其他副本节点该节点,在其重启窗口内。在一系列复制之后重启一次,而不是每个数据库之后都重启。

        多数据库的复制参数

        选择数据库:RCM 按 Firebird 版本和角色对它们进行分组。对于每个参数,选择一个操作:保留、设置、重置为上一级或不写入。你可以看到当前值的来源:数据库、节点或 Firebird。

        预览会检查节点上的值,不做任何更改。它还会显示谁将重启 Firebird,以及这会影响多少个数据库。

        复制参数。每个键的提示、节点和 Firebird 值、预览:“由你重启”。
        • 时间窗口你请求的主节点重启:22:00–05:00。副本节点:任意时间。手动提升为主节点会同时重启两台 Firebird 服务器,不受时间窗口限制。Switchover 只重启一台 Firebird:在新主节点上。完整复制速度:23:00–05:00。
        • 分段速度默认 50 MB/s,短时峰值 200 MB。立即生效,无需重启。
        • 移动副本文件移动到另一个子文件夹,无需重新复制;出错时回滚。
        • 手动配置的副本节点无需重新复制即可将其纳入管理。RCM 通过 GUID 匹配文件。
        • 命令行复制、检查、暂停、提升及其他 RCM 命令也存在于 hqbirdrcm 中。Switchover、failover 和服务规则可通过三种方式使用:在浏览器中、通过命令以及通过 API。
        • 查看者角色具有查看者角色的 RCM 用户可以看到一切并运行检查。该用户被禁止进行任何更改。
        • 6 种语言RCM 界面。警报说明为英文。
        HQ Monitor 中的集群描述(演示模式)。成员和角色、主 → 副本链接、每个成员的证书到期时间。

        一份文档描述整个集群

        成员、其角色以及主 → 副本链接在 HQ Monitor 或 RCM 的集群页面上设置。每台主机上的 fbagent 获取该描述,并自行安装和配置节点。没有 HQCenter 时,RCM 管理一个最多包含 3 台主机的集群。

        mTLS 与证书

        所有集群通道均受使用共享 CA 的 mTLS 保护。密钥在成员主机上创建,且永不离开该主机:只有证书请求会发出。证书有效期为 90 天,并在到期前 30 天自动续期。新的密钥和新的 CA 在管理员命令下签发。

        RCM Web 界面通过 HTTPS 在端口 7444 上运行。当主机上启用 RCM 时,代理会在防火墙中打开此端口。使用用户名和密码登录;你必须更改初始密码。它位于 RCM 主机上的 rcm-initial-password 文件中,不会显示在屏幕上。更改密码后,代理会删除此文件。登录页面显示集群 CA 哈希:将其与 RCM 主机上设置摘要中的“CA hash”行进行比较。每次更改和登录都会写入审计日志。

        命令 · 超时 · 端口 · 拒绝代码

        参考

        命令

        任务命令
        在主机上启用 RCMfbagent --cluster-init <id>
        打开或关闭配对窗口fbagent --cluster-pairing on|off
        链接主机hqbirdrcm cluster link -hosts db1,db2 -master db1
        为没有配对窗口的主机生成令牌hqbirdrcm cluster join-token -note db2
        离开集群fbagent --cluster-leave
        描述服务hqbirdrcm services put -id shop -file shop.json
        主节点所在位置hqbirdrcm where -service shop
        计划内的主节点迁移hqbirdrcm switchover -service shop [-to db2] [-check]
        紧急迁移hqbirdrcm failover -service shop -accept-data-loss
        将旧主节点恢复为副本节点hqbirdrcm rejoin -service shop
        退出故障状态hqbirdrcm resume -service shop [-check]
        自动 failover 规则hqbirdrcm policy -service shop -auto-failover on|off
        操作的进度与取消hqbirdrcm operations show|cancel -id <id>

        超时与间隔

        项目默认值如何更改
        Switchover:等待连接结束120 秒,最多 900 秒-quiesce-timeout
        Switchover:副本应用最后一个段300 秒-apply-timeout
        Switchover:命令等待操作结束2 小时-timeout
        Failover:副本应用已接收的内容60 秒,最多 3600 秒-apply-timeout
        自动 failover:主节点无响应90 秒-failover-delay
        自动 failover:延迟上限30 秒-max-data-loss
        自动 failover:两次之间的暂停1 小时-min-interval
        检查 failover 条件及旧主节点隔离每 10 秒无法更改
        Firebird 挂起:连接探测每分钟一次,上限 10 秒无法更改
        路由器:主节点轮询每 2 秒无法更改
        配对窗口、加入令牌24 小时窗口:请求中的小时数
        链接主机:代理证书、节点启动最多 10 分钟,最多 20 分钟无法更改

        端口

        端口用途
        7443RCM:节点、代理和路由器,mTLS。
        7444RCM:Web 界面和操作员命令,HTTPS。
        7450–7459代理配对窗口:7450 + 槽位。
        7051–7060代理的第一个节点:7051 + 槽位。
        7061–7070代理的第二个节点:7061 + 槽位。
        router_port路由器上的服务端口,例如 3051。

        拒绝代码

        代码含义
        not_in_sync目标副本滞后:switchover 不会启动。
        busy节点上正在运行数据库复制或提升操作。
        service_busy服务上已有操作在运行。
        master_reachable主节点有响应:不需要 failover。
        replica_unusable副本没有可用的数据库副本。
        data_loss_not_accepted未使用 -accept-data-loss 开关的 failover。
        past_no_return在不可返回点之后取消。
        no_witnesses没有路由器的自动 failover。
        node_port_clash主机上的另一个成员使用了该节点端口。
        seats_exceeded集群已有 3 台主机。

        要点简述

        常见问题

        switchover 和 failover 有什么区别?

        Switchover 是计划内的:两台主机都在工作,不会丢失数据,旧主节点会自动作为副本回归。Failover 是紧急情况:主节点主机丢失,主节点未发送的数据会丢失,你需要用单独的命令将旧主节点恢复。

        在 switchover 期间应用程序会看到什么?

        当 RCM 停止写入时,与旧主节点的连接会关闭。在副本成为主节点之前,无处可写。在新纪元之后,应用程序会重新连接:连接到同一个路由器地址或新主节点的地址。

        switchover 需要多长时间?

        写入暂停分为三部分:等待连接结束(默认最多 120 秒)、追赶最后一个段,以及在新主节点上重启一次 Firebird。旧主节点的重新加入在此之后于后台运行。其时间就是数据库复制的时间。

        可以在没有路由器的情况下工作吗?

        可以。switchover 和手动 failover 无需路由器即可工作。此时应用程序从 RCM 本身获取主节点地址。没有路由器时自动 failover 不会启用:路由器是它的见证者。

        自动 failover 可能丢失多少数据?

        如果副本滞后超过 30 秒,该规则不会启动。但主节点已写入而未发送的段会丢失。操作报告会显示其数量。旧数据库文件会保留:这些更改仍保留在其中以及旧主节点的归档中。

        服务处于 failed 状态。我该怎么办?

        在 Services 页面上查看原因。如果主节点的 Firebird 挂起,请重启它。然后 hqbirdrcm resume -service <id> -check 会显示是什么阻塞了服务,而不带该开关的 resume 会让服务恢复工作。

        旧主节点的重新加入需要多少空间?

        重新加入是一次新的数据库复制。适用与任何复制相同的规则:数据库大小的 105%。failover 之后,旧文件会保留在新文件旁边,因此旧主机需要容纳两个文件的空间。

        它能在 Windows 上运行吗?

        节点和 RCM 可在 Windows 和 Linux 上运行。路由器只能在 Linux 上运行。

        ← 返回 HQbird 2027 概览