HQbird Cluster:クラスタとレプリケーション
クラスタとレプリケーション HQbird Cluster
マスターは変更をセグメントに書き込み、安全なチャネルでレプリカに送信します。ノードは新しいレプリカ用のデータベースコピーを nbackup 経由で自身で作成し、その間もユーザーは作業を続けられます。クラスタマネージャー(RCM)は全ノードの遅延、キュー、エラーを表示します。また、マスターを別のホストへ移動させます。データ損失のない計画的な移動、またはマスターホストが失われた場合の緊急移動として行えます。
- Firebird 2.5 · 3 · 4 · 5
- nbackup マスターを停止せずにコピー
- switchover データ損失なし
- failover 手動またはルールによる
- router 接続文字列は変わらない
- mTLS 全チャネルで
ノード · RCM · レイアウト
クラスタの仕組み
各 Firebird の隣でノードが動作します。ノードはマスターまたはレプリカのいずれか1つの役割を持ちます。マスターノードがセグメントを送信し、レプリカノードがそれを受信し、レプリカの Firebird がデータベースのコピーに適用します。
クラスタごとに1つの RCM があります。RCM は全ノードに到達できる任意のホストで動作します。ノードは統計を RCM に送信し、RCM はオペレーターのコマンドをノードに渡します。RCM はマスターとレプリカをノード名ではなくデータベース GUID で関連付けます。
RCM は単独ではインストールされません。クラスタが必要なときに1つのホストで有効にします。アプリケーションの前にルーターを置くこともできます。ルーターは常にアプリケーションを現在のマスターへ送信します。
| コンポーネント | 数 | 役割 |
|---|---|---|
| Firebird (HQbird) | 各データベースサーバー上 | データベースを保存し、レプリケーションセグメントを書き込みます。 |
| fbagent | Firebird インスタンスごとに1つ | ノードの要求に応じて Firebird を停止・起動します。 |
| hqclusternode | インスタンスと役割ごとに1つ | レプリケーションを設定し、セグメントを送信し、レプリカ用のデータベースコピーを作成します。 |
| hqbirdrcm (RCM) | クラスタごとに1つ | Web インターフェース、コマンド、アラート、統計。スイッチオーバーとフェイルオーバーを実行します。 |
| ルーター (hqclusternode router) | オプション、アプリケーションホスト上、Linux | HAProxy を各サービスのマスターに向けたままにします。アプリケーションはルーターに接続します。 |
- 同じメジャーバージョンマスターが 5.0 ならレプリカも 5.0。そうでない場合、レプリカはデータ転送前に拒否します。
- HQbird 2.5 と 3.0replconf プラグイン経由のレプリケーション。フィルターがテーブルの集合を定義します。
- マスターごとに専用フォルダレプリカはマスターノード名のフォルダにデータベースを配置します。異なるマスターからの同名データベースは競合しません。
- fbagent がなければ変更なしfbagent が利用できない場合、ノードは設定を変更するあらゆる操作を拒否します。「部分的に」動作することはありません。
- RCM なしのノードノードは単独で動作できます。RCM は全体の把握とコマンドに必要です。
- チャネル圧縮低速なネットワーク向け: ピアごとの zstd、即座に有効になります。
- HQCenter なしで最大3ホストマスターまたはレプリカを持つ各ホストがクラスタ内の1つの枠を占めます。RCM は4番目のホストを受け入れません。
RCM · ペアリングウィンドウ · Link hosts · スロット
クラスタの構築方法
HQbird のセットアップは各サーバーにクラスタプログラムを配置しますが、有効にはしません。RCM とペアリングウィンドウはデフォルトでオフです。クラスタは3つのステップで構築します: 1つのホストで RCM を有効にし、他のホストでペアリングウィンドウを開き、1つのボタンでホストをリンクします。
- 1RCM を有効化1つのホストで: HQ Monitor または
fbagent --cluster-initで - 2ペアリングウィンドウを開く他のホストで、24時間
- 3ホストをリンクRCM がエージェントを検出し、証明書を発行し、ノードを起動します
ステップ1. 1台のホストでRCMを有効化
HQ Monitorで「Cluster on this server」セクションを開き、RCMをオンにします。ホスト上でコマンドを実行しても同じ結果になります。エージェントがクラスタCA、RCM証明書、最初のユーザーを作成します。ファイアウォールではポート7443と7444が開きます。
fbagent --cluster-init <id>
セットアップ中は、スイッチ--rcm on(Linux)または/RCM(Windows)でも同じ結果になります。
ステップ2. ペアリングウィンドウ
クラスタに参加する各ホストで、エージェントが24時間ペアリングポートを開きます。ウィンドウが終了するか、エージェントがクラスタに参加すると、ポートは自動的に閉じます。
fbagent --cluster-pairing on
HQ Monitorのボタンでも同じ結果になります。セットアップ中は--cluster-pairing onまたは/DISCOVERYを使用します。
ステップ3. ホストをリンク
RCMでSettings → Link hostsを開き、ホストを1行に1つずつ入力します。Check hostsボタンは各ホストのポート7450~7459を読み取ります。応答した各エージェントがテーブルの1行になります。
- 行には、ポート、インスタンス、Firebirdのバージョンとポート、ノードポート、証明書のフィンガープリントが表示されます。
- チェックボックスで行を選択し、マスターを選びます。エラーのある行があっても、他の行はブロックされません。
- Linkは各エージェントに証明書を発行し、メンバーとマスター→レプリカのリンクを作成します。
- RCMはエージェント証明書を最大10分、ノードの起動を最大20分待ちます。
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1
行に表示されたフィンガープリントを、エージェントがそのホスト上で表示したものと比較してください。これにより、正しいサーバーをリンクしていることが確認できます。
- 1台のホスト上の複数エージェント各エージェントは0~9の独自のスロットを持ちます。ペアリングポートは7450 + スロット、ノードポートは7051 + スロットと7061 + スロットです。セットアップがスロットを選択し、スイッチ
--pairing-portで明示的に設定できます。 - メンバーの追加Clusterページは空いているノードポートを提案し、このホストの別のメンバーが使用しているポートは拒否します。
- メンバー名
<host name>-masterおよび<host name>-replicaです。RCMはメンバーの名前を変更しません。新しい名前は新しいメンバーになります。 - ペアリングウィンドウを使用しない場合RCMは1つのエージェント用に24時間有効なトークンを発行します。新しいホストでは、このトークンとCAハッシュを指定して
fbagent --cluster-joinを実行します。
- RCMオーナーホストでRCMを有効にしたエージェントです。このホスト上の2番目のエージェントは拒否されます。オーナーが削除された場合、
fbagent --cluster-init --rcm-takeoverでRCMを別のエージェントに移行できます。クラスタには新しいCAが付与され、メンバーを再度リンクする必要があります。 - クラスタからの離脱
fbagent --cluster-leaveはノードを停止し、ポートを閉じ、クラスタ証明書を削除します。ノードフォルダは残りますが、--remove-dataで削除されます。RCMがエージェントを取り消した場合、または最後のメンバーを削除した場合、エージェントは自動的に離脱します。 - ファイアウォールエージェントは自身のクラスタポートを開閉します。以前から開いていたポートは閉じません。
- HQbirdの削除他のエージェントがRCMを使用している間は、RCMオーナーは削除されません。セットアップウィザードが確認します。サイレントモードでは
--forceまたは/FORCEが必要です。
ローカルHQ MonitorのClustersページは、RCMホスト上のエージェントを介して動作します。RCMパスワードは不要です。「Cluster on this server」セクションは管理者のみに表示されます。
初期化 · reinit
マスターを停止せずに新しいレプリカを作成
レプリカはマスターからのみデータベースを取得します。マスターノードはnbackup -Lでファイルを凍結し、分割して送信し、すぐにロックを解除します。マスターユーザーはその間ずっと作業を続けられます。変更は.deltaに書き込まれ、後でデータベースに戻されます。
ここではgbakや手動のファイルコピーは機能しません。gbakはデータベースGUIDを変更し、マスターとレプリカのリンクを壊します。実行中のデータベースのファイルコピーは整合性がありません。
マスターユーザー
ファイル
- 接続の切断転送は最後に受信した部分から再開されます。未完了のコピーはレプリカ上に24時間保持されます。
- エラーノードはロックを解除し、未完了のファイルを削除し、データベースをFAILEDに設定します。次の試行は既知の状態から開始されます。
- ロック中のトランザクション失われることはありません。Firebird 4および5では、ノードが
nbackup -Lの時点で開いているトランザクションを検出し、レプリカがセグメントからそれらを再実行します。HQbird 2.5および3.0では、ノードはそのようなトランザクションの終了を待ちます(約1分)。終了しない場合、コピーは開始されません。
- 一度に1つのデータベースデフォルトでは、マスターノードは1つのデータベースをコピーします。他のデータベースはキューで待機します。
- このデータベースの他のレプリカコピーの実行中、それらはこのデータベースのセグメントを受信しません。後で追いつきます。
- 自動再初期化RCMはNEEDS_REINIT状態のデータベースを、設定された時間枠内でのみ自動的に再コピーできます。デフォルトではオフです。
ジェントルモードは長時間トランザクションを待機
ロックの前に、ノードはマスターのアーカイブ内の最も古いセグメントより前に開始された書き込みトランザクションを探します。アーカイブが空の場合(最初のコピー)、制限はノードがパブリケーションを有効にした時点です。レプリカはそのようなトランザクションを再実行できず、停止してしまいます。そのため、そのようなトランザクションが開いている間はコピーを開始しません。
RCMは最も古いトランザクションを持つ5つの接続を表示します。ユーザー、クライアント、経過時間、現在のクエリです。それらを切断し、すぐにコピーを再実行できます。コピーが待機している間、マスターのアーカイブはクリーンアップされませんが、最大1000セグメントまでです。その後クリーンアップが続行され、RCMがアラートを発します。
ノーマルモードはチェックなしで即座にデータベースをロックします。
容量と速度
| 場所 | 必要なもの |
|---|---|
| マスター、データベースボリューム | データベースサイズの少なくとも105%の空き容量。.deltaはコピー中に増加します。 |
| レプリカ、データベースボリューム | 105%に加えて、ボリューム予備free_space_floor_gb(デフォルトは1 GB)。ノードは事前に全サイズを確保するため、2つ目のコピーは不要です。コピーを繰り返す場合、古いファイルは終了まで残ります。両方のファイルを置くスペースがない場合、「古いレプリカを削除」チェックボックスをオンにすると、転送前に古いファイルが削除されます。 |
| 夜間の速度 | 転送ウィンドウ(デフォルトは23:00〜05:00)では一定で、デフォルトは100 MB/sです。 |
| 日中の速度 | 測定されたディスク速度の一部で、デフォルトは半分です。日中に開始したコピーは、夜になると自動的に速度が上がります。 |
容量のチェックは2回行われ、いずれもロックの前のみです。最初はRCMが統計から、次にノードが両側で実際に測定して行います。ノードによるチェックは省略できません。コピー中にディスクが満杯になるのを防ぐためです。
Firebird 4 および 5 · HQbird 2.5 および 3.0
パブリケーション: どのテーブルがレプリカに送られるか
Firebird 4 および 5 は、パブリケーションがオンの場合にのみ、パブリッシュされたテーブルの変更をセグメントに書き込みます。パブリケーションがオフの場合、変更はレプリカに届きません。ノードはこれを検知してアラートを発します。「パブリケーションを同期」ボタンを押すと、パブリケーションがオンになり、正しいテーブルリストが作成されます。
同期が行うこと
- オペレーターが意図的にオフにしていない限り、パブリケーションをオンにします。
- 主キーまたは一意インデックスを持つすべてのテーブルを追加します。
- キーのないテーブルと、オペレーターが除外したテーブルを削除します。
- 新しいテーブルの自動追加をオフにします。
キーがないと、レプリカはUPDATEおよびDELETEの対象行を見つけられません。そのため、そのようなテーブルはパブリッシュできません。キーを追加して、再度同期してください。
- 毎時のチェックパブリケーションがオフの場合、ノードは2分ごとにチェックします。レプリカを持つデータベースでは、これはアラートとなります。
- 除外リストマスターノードに保存されます。レプリカがマスターに昇格すると、リストは新しいマスターに移動します。
- 新しいテーブル自動的にはパブリケーションに参加しません。キーを作成し、「パブリケーションを同期」をクリックしてください。
- パブリケーションなしでのコピーパブリケーションがオフ、またはテーブルがない場合(
publication_off)、マスターノードはデータベースのコピーを拒否します。初期化ウィンドウでは「パブリケーションを同期して初期化」を選択できます。 - HQbird 2.5 および 3.0パブリケーションはありません。レプリケーション設定の包含・除外フィルターがテーブルのセットを定義します。
パブリケーションがオフの間、またはテーブルが除外されている間に加えられた変更は、パブリケーションをオンにした後でもレプリカに届きません。「検証」は行数のみを比較するため、失われたUPDATEは検出できません。パブリケーションがオフの間にデータベースへの書き込みがあった場合は、データベースを再度コピーしてください。
遅延 · アーカイブ · アラート · データチェック
監視: レプリカが気づかれずに遅れないように
ノードは30秒ごとに統計をRCMに送信します。マスターとレプリカの各ペアについて、最後のセグメント、送信済み・確認済み・適用済みの数、キュー、および秒単位の遅延を確認できます。
| データベースの状態 | RCMのグループ | 意味 |
|---|---|---|
IN_SYNC | Ok | レプリカはすべてのセグメントを受信しました。 |
LAGGING | Pending | レプリカが遅れており、セグメントがキューにあります。 |
SEEDING | Pending | データベースをレプリカにコピー中です。 |
NEEDS_REINIT | Error | レプリカを再度コピーする必要があります。 |
FAILED | Error | 最後のコピーが失敗しました。 |
マスターのアーカイブは段階的に削除されます
マスターは、レプリカが再要求できるように送信済みセグメントを保持します。空き容量が少なくなると、まず確実に不要なものから削除します。
- 1すべてに適用済みで、制限より古いものデフォルトの制限は2日
- 2適用済みだが、制限より新しいもの空き容量が1 GB未満の場合。アラート
- 3まだ適用されていないもの最後の手段として。レプリカには新しいコピーが必要
対処方法付きのアラート
RCMは20種類以上のアラートを認識しており、それぞれに何をすべきかの指示があります。アラートを確認済みにするか、60分間ミュートするか、削除できます。原因が残っている場合、アラートは再び表示されます。
メールやWebhookはありません。「アラート」ページを監視するか、RCM APIをポーリングしてください。
| コード | 何が起きたか |
|---|---|
backlog_warn / backlog_critical | マスターに未アーカイブのセグメントが 32 / 48 個あります。 |
apply_error, replication_stopped | レプリカがセグメントを適用できません。 |
replication_guid_mismatch | マスターデータベースの GUID が変更されました: リストアまたはファイルの置き換えです。 |
segment_missing, sequence_gap | セグメントのシーケンスが途切れています。 |
firebird_down, firebird_log_error | Firebird が停止しているか、エラーを書き込んでいます。 |
firebird_not_answering | Firebird のポートは開いていますが、データベースへの接続が 1 分間失敗しています。 |
master_publication_off | レプリカを持つデータベースでパブリケーションがオフになっています。 |
data_mismatch | 定期的なデータチェックで差異が見つかりました。データチェックは別途有効化します。 |
マスターとレプリカの比較
Verify は選択したテーブルの行数をマスターとレプリカで数え、比較します。行の内容は比較しません: 変更された行は見つけられません。負荷の少ない時間に実行してください: 書き込みが活発なときは行数が異なることがあります。
定期的なチェックはデフォルトでオフです: COUNT(*) はテーブル全体を読み取ります。ノードパラメータ data_check_enabled で有効にします。2 時間に 1 回実行されます。新しいチェック設定はノードの再起動なしで即座に反映されます。チェックはマスターとレプリカが同じセグメントにあるときにデータを比較します。差異があればアラートが発生します。パブリケーションから除外されたテーブルはエラーではなく「未パブリッシュ」と表示されます。
- 転送の一時停止1 つまたは複数のデータベースに対して。 「再開」後、転送は新しいコピーなしで最後のセグメントから続行されます。その間アーカイブは増え続けます。
- リモートノードのログreplication.log、firebird.log、ノードログをサーバーにログインせずに RCM 上で直接確認できます。
- ライセンスなしマスターは転送を停止しますが、Firebird とデータベースは動作し続けます。ライセンスをインストールすると、転送は 1 分以内に自動的に再開されます。
- コマンドログ各 RCM コマンドは実行者と結果とともに記録されます。クラスタレポートは 1 つの JSON ファイルにまとめられます。
サービス · エポック · マスターの所在
サービス: 複数ホスト上の 1 つのデータベース
サービスとは、複数のホスト上にある 1 つの論理データベースです。マスターはホスト間を移動できますが、サービス名とデータベースエイリアスは変わりません。アプリケーションとルーターは、サービスのマスターが現在どこにあるかを RCM に問い合わせます。
マスターが変わるたびに次の番号が付与されます: エポックです。RCM はエポックの履歴を保持します: マスターがいつ、なぜ変わったか。RCM はサービスを GUID ではなくノードとファイルパスで特定します: スイッチオーバー時にデータベース GUID は変わりますが、パスは同じままです。
サービスが記述する内容
- alias:
databases.conf内のデータベース名。新しいマスターが自身で書き込みます。 - members: ホストごとに 1 エントリ: マスターノード、レプリカノード、ファイルパス、優先度。
- router_port: ルーターがこのサービスのアプリケーションを受け付けるポート。
- policy: 自動フェイルオーバーのルールと、旧マスターをクローズするモード。
サービスの各ホストは、1 つの Firebird 上で 2 つのノードを実行します: マスターノードとレプリカノードです。これは上の図と同じ「ホストごとに 2 ノード」のレイアウトです。
マスターノードにはクライアント用の Firebird アドレスが必要です: advertise_addr パラメータです。これがないと、RCM はアプリケーションに接続先を伝えられません。
マスターの現在の所在
hqbirdrcm services put -id shop -file shop.json hqbirdrcm services hqbirdrcm where -service shop hqbirdrcm where -db shop
where は次の内容で応答します: マスターホストとアドレス、エポック番号、レプリカ、および検出された問題。API を通じて、アプリケーションは毎秒 RCM をポーリングせずに新しいエポックを待つことができます。
RCM の Services ページでは、各サービスについて同じ内容を表示します: 状態、エポック、マスター、Firebird アドレス、レプリカ、および問題。Find フィールドでは、エイリアス、サービス名、GUID、またはパスでデータベースを検索できます。
ブラウザーでのサービス
hqbirdrcm コマンドでサービスに対して行えることはすべて、RCM の Web インターフェースでも行えます。このためにコマンドラインは必要ありません。
- サービスページ状態とその理由、マスター、遅延を含むレプリカ、ホストとその役割、ルーター、クローズ待ちの旧マスター、自動フェイルオーバールール、実行中の操作のステップごとの進行状況、およびマスターの履歴。
- アクションボタンSwitchover、Failover、Rejoin、Resume。各ボタンはまずチェックを実行し、問題を表示します。アクションは確認後にのみ開始されます。2 回目のクリックで 2 つ目の操作が開始されることはありません。
- サービスフォームNew service ボタンでサービスを作成します: 名前、エイリアス、ルーターポート、およびホストごとに 1 行。Check はフォームをチェックし、Save はまず変更の一覧を表示します。
- 操作すべてのスイッチオーバー、フェイルオーバー、リジョインを新しい順に表示するページ。操作の実行中は、各ページのヘッダーにその操作へのリンク付きラベルが表示されます。
- サービスの削除RCM 内のレコードのみが削除されます。ダイアログには残るもの (データベース、レプリケーション、ノードの役割、エイリアス) と失われるもの (履歴、ルール、ルーター上のポート) が表示され、サービス名の入力を求められます。
- ビューアーロールこのロールを持つユーザーはすべてのページを閲覧し、チェックを実行できますが、アクションボタンは表示されません。
| サービスの状態 | 意味 | 対処方法 |
|---|---|---|
ok | マスターが動作しており、別ホストのレプリカがそれに追従しています。 | なし。 |
rejoining | 旧マスターがレプリカとして復帰中です。 | 待機してください: データベースがコピーされています。 |
degraded_no_replica | マスターは動作していますが、レプリカがありません。これはフェイルオーバー後またはリジョインエラー後に発生します。 | hqbirdrcm rejoin |
failed | RCM が状態を判別できない、またはマスターの Firebird が応答しない。 | 確認後に hqbirdrcm resume |
failed 状態のサービスは、スイッチオーバーも自動フェイルオーバーも開始しません。この状態から復帰できるのはオペレーターのみです。resume コマンド、rejoin、または手動フェイルオーバーによって行います。
データ損失なしでのマスターの計画的移動
スイッチオーバー: マスターを別のホストへ移動
スイッチオーバーは、データ損失なしでサービスのマスターを別のホストへ移動します。RCM 自体が旧マスターでの書き込みを停止し、レプリカが最後のセグメントを適用するまで待ってから、そのレプリカをマスターにします。その後、旧マスターは同じパスで新マスターのレプリカとしてクラスタに戻ります。
計画作業に必要です: OS の更新、ディスクの交換、別サーバーへの負荷の移動など。まずチェック、次に開始:
hqbirdrcm switchover -service shop -check # チェックのみ、何も変更しない hqbirdrcm switchover -service shop -to db2 # マスターを db2 へ移動
コマンドは操作を最後まで実行し、各ステップを出力します。終了コード 0 は成功を意味します。RCM のサービスページにある Switchover ボタンも同じ動作です: まずチェック、次に確認、そして画面上で操作の各ステップが進みます。
アプリケーション
ホストとサービス
RCM が開始前にチェックする内容
- サービスが
ok状態で、マスターが判明している。 - 対象のレプリカが
IN_SYNC状態である。 - 2 台のホストの 4 つのノードすべてが応答する。
- 対象のレプリカがライセンスのために一時停止していない。
- これらのノードでデータベースのコピーや昇格が実行されていない。
問題がある場合、RCM は拒否し、理由をコードで示します。この時点まで、何も変更されていません。
問題が発生した場合
- ポイント・オブ・ノーリターンより前。 エラー、タイムアウト、またはキャンセルにより、旧マスターがオンラインに戻ります。サービスは旧ホスト上で
okのままです。旧マスターがオンラインに戻らない場合、サービスはfailedになります:gfix -online normalでデータベースをオンラインにし、resumeを実行してください。 - ポイント・オブ・ノーリターンより後。 キャンセルはできません。エラーが発生するとサービスは
failedになります。 - rejoin 中のエラー。 新マスターは動作しており、レプリカがありません:
degraded_no_replica。hqbirdrcm rejoin -service shopを実行してください。
hqbirdrcm operations show -id <id> hqbirdrcm operations cancel -id <id>
ブラウザでは、これが Operations ページとサービスページの Cancel ボタンです。
- 書き込みの停止旧マスターは完全シャットダウンに入ります。ノードは接続が終了するまで待ちます: デフォルトで 120 秒、最大 900 秒です。スイッチ
-force Nは N 秒後に接続を切断します。 - 追いつきRCM は毎秒、レプリカが最後のセグメントを適用したかどうかを問い合わせます。デフォルトの制限は 300 秒です。
- Firebird の再起動は 1 回新マスター上で、ウィンドウを待たずに行います。rejoin 中、旧ホストの Firebird はレプリカノードが必要とする場合にのみ再起動します。
- rejoin はデータベースのコピー新マスターは nbackup を介してデータベースを旧ホストにコピーします。大規模なデータベースでは時間がかかるため、コマンドは最大 2 時間操作を待ちます。
- RCM の再起動各ステップはノード呼び出しの前にディスクに書き込まれます。再起動後、RCM は現在のステップから操作を続行します。
- サービスのロックスイッチオーバーまたは rejoin の実行中、RCM はこれらのノードでの他の変更を拒否します: 設定、Firebird の再起動、コピー、転送の一時停止。
旧マスターへの接続は書き込み停止ステップで切断されます。アプリケーションは再接続する必要があります。ルーターを使用している場合、接続文字列は同じままです。ルーターを使用していない場合、アプリケーションは新マスターのアドレスへ接続します: hqbirdrcm where -service shop がそれを提供します。
HAProxy · Linux · 1 つの接続文字列
ルーター: アプリケーションは同じアドレスを使い続ける
ルーターはアプリケーションホスト上で動作し、HAProxy を各サービスのマスターに向けたままにします。アプリケーションは <router host>:<service port> に接続します。スイッチオーバーまたはフェイルオーバー後も、接続文字列は同じままです。
ルーターがホストを選択する仕組み
- RCM からサービス表を取得します: エポック、マスターホスト、Firebird のアドレス。
- 2 秒ごとにマスターノードに問い合わせます: 「あなたはこのエポックのマスターですか、データベースはオンラインですか?」
- 「はい」の応答: ホストは接続を受け入れます。
- 「いいえ」の応答: 新規接続は受け付けず、既存の接続は維持されます。
- 新しいエポック: 旧マスターのセッションは即座に閉じられます。
RCM が利用できない場合、ルーターは最後の表を使用します。ルーターはその表を自身のディスクに保持します。
ルーターを追加する方法
ルーターは router ロールを持つクラスターメンバーです。マスターやレプリカと同様に、Cluster ページで追加します。このホスト上の fbagent が証明書を取得し、設定を書き込み、サービスを登録します。ホストには HAProxy がインストールされている必要があります。
サービス記述内の router_port がサービスポートを設定します。ルーターは複数配置できます: 各アプリケーションホストに 1 つずつです。
RCM の Settings → Routers ページには、ルーターとそのレポートが表示されます: ルーターがどのエポックを適用したか、どのホストに導いているか。
- 接続の切断マスターが変わると、開いている接続は閉じられます。アプリケーションは同じアドレスに再接続する必要があります。
- クライアントアドレスFirebird からは HAProxy のアドレスが見え、アプリケーションのアドレスは見えません。クライアント IP によるアクセスルールはルーターの背後では機能しません。
- Linux のみルーターは Linux で動作します。データベースサーバーは Windows と Linux のどちらでも構いません。
- ウィットネスルーターは、マスターの Firebird ポートに到達できるかどうかを RCM に通知します。これがないと自動フェイルオーバーは有効になりません。
マスターホストの喪失 · 手動またはルールによる
フェイルオーバー: レプリカがマスターロールを引き継ぐ
マスターホストが応答しない場合にフェイルオーバーが必要になります。レプリカは受信済みのセグメントを持つマスターになります。マスターが送信しなかったものは失われます。そのため、オペレーターは損失を明示的に受け入れる必要があります。
hqbirdrcm failover -service shop -check # 何が失われるか hqbirdrcm failover -service shop -to db2 -accept-data-loss # 開始
-accept-data-loss スイッチを付けない場合、コマンドはチェックのみを行い、損失の見積もりを表示します: マスターの最後のセグメント、レプリカが受信・適用したセグメント数、少なくとも失われるセグメント数。
ブラウザでは、これはサービスページの Failover ボタンです。オペレーターがデータ損失のチェックボックスを確認し、サービス名を入力した場合にのみ操作が開始されます。
- 1チェックマスターが応答せず、レプリカに使用可能なコピーがある
- 2追いつきレプリカが受信したすべてを適用; 制限 60 秒
- 3昇格後戻りできないポイント: 新しい GUID、Firebird の再起動
- 4新しいエポックレプリカがマスター; 旧マスターはクローズ待ち
- マスターがまだ応答するRCM は拒否します:
master_reachable。スイッチオーバーを実行するか、先にマスターノードを停止してください。 - 遅延しているレプリカ
LAGGING状態は受け入れられます。新しいコピーが必要なレプリカは適していません。 - 複数のレプリカデフォルトでは、RCM はより多くのセグメントを適用したものを選び、次に優先度の高いものを選びます。
- フェイルオーバー後サービスは
degraded_no_replica状態になります: マスターは動作し、レプリカはありません。旧ホストが再び起動するまで再参加はありません。 - 失敗状態のサービス手動フェイルオーバーはそのようなサービスにも機能します。マスターの Firebird がハングし、すぐに再起動できない場合の脱出方法です。
- 除外テーブルRCM はレプリカまたは旧マスターの最後の統計からそのリストを取得します。リストがない場合は、新しいマスターのパブリケーションページでテーブルを設定してください。
- 追いつきの制限
-apply-timeoutスイッチ、デフォルトは 60 秒、最大 3600 秒。
自動フェイルオーバー オプション
RCM はフェイルオーバーを自身で開始できます。これはデフォルトではオフです。サービスごとに個別にルールを有効にします: ブラウザのサービスページまたはコマンドで行います。
hqbirdrcm policy -service shop # ルールを表示
hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30
RCM は 10 秒ごとに条件をチェックし、すべてが真である場合にのみフェイルオーバーを開始します。
| 条件 | 理由 |
|---|---|
| マスターノードが 90 秒間沈黙している | マスターが統計を送信していない。 |
| RCM からマスターノードへの直接呼び出しが失敗する (5 秒) | 統計の遅延だけではない。 |
| ルーターの半数以上がマスターの Firebird ポートに到達できない | アプリケーションも接続できない。 |
| レプリカノードが 90 秒間マスターを認識していない | 第三のウィットネス。 |
| レプリカの遅延が 30 秒以下 | データ損失の制限。 |
| 最後の自動フェイルオーバーから 1 時間が経過している | マスターがホスト間を頻繁に移動しないようにする。 |
| RCM が 90 秒以上稼働している | 再起動後、RCM には新しいデータがない。 |
サービスはokで、ノード上でコピーや昇格は実行されていません | 実行中の処理と競合しません。 |
- ルーターが必要このルールには両方のルーターとサービスポートが必要です。いずれかが欠けている場合、ルールは有効になりません:
no_witnesses。ルーターの大半がマスターホスト上にないように配置してください。 - 1回のみ自動フェイルオーバー後、ルールは自動的に無効になります。再度有効にするのはオペレーターのみです。
- 起動しなかった理由RCMは待機理由をサービスルールとともに保持し、新しい理由が発生するたびにログへ1回だけ書き込みます。
- ログ操作は
system:autofailoverとして実行されます。最初のエントリにはウィットネスが確認した内容が記録されます。
30秒の制限は、レプリカが受信してまだ適用していないキューにのみ適用されます。マスターが書き込んだが送信しなかったセグメントは含まれません。その数は操作レポートに表示されます。
フェンス · 再参加 · ハングしたマスター · 再開
再参加とリカバリ
フェイルオーバー後、クラスタにはマスターであったファイルが2つ存在します。古い方を書き込みを受け付けないように閉じ、レプリカとして復帰させる必要があります。RCMは前者を自動で行い、後者はオペレーターのコマンドで行います。
古いマスターを閉じる(フェンス)
RCMは10秒ごとに古いマスターを閉じようとします。そのノードが応答すると、「closed」ロールが付与され、セグメントの送信を停止します。各フェンスは監査ログに記録されます。
- モード
route(デフォルト)。古いマスターデータベースはオンラインのままです。ルーターはそれを使用しなくなります。 - モード
shutdown。RCMはまずデータベースを停止します。接続は5秒後に閉じられます。
hqbirdrcm policy -service shop -fence-mode shutdown
古いマスターを復帰させる(再参加)
古いホストが再び動作したら、再参加を開始します。RCMはまず、まだ完了していなければ古いマスターを閉じます。次に新しいマスターが、同じパスで古いホストにデータベースをコピーします。
hqbirdrcm rejoin -service shop
古いファイルは削除されません。新しいファイルの隣に<name>.pre-reinit-<time>.fdbとして残ります。このファイルと古いマスターのアーカイブには、新しいマスターが持っていない変更が含まれています。
routeモードでは、ルーターを経由せず古いホストに直接接続するアプリケーションは、古いデータベースに書き込みを続けることができます。これらの変更は新しいマスターには届きません。ルーターなしで動作するアプリケーションがある場合は、shutdownモードを有効にしてください。
ハングしたマスター
Firebirdはポートが開いたままデータベースに接続できない状態でハングすることがあります。ポートチェックではこれを検出できません。そのため、ノード自体が1分ごとに10秒の制限でデータベースに接続します。
- 1分間応答がない場合:重大アラート
firebird_not_answering。 - RCMはサービスを
failedに設定し、理由(ノード、ホスト、時刻)を書き込みます。 - この状態では自動フェイルオーバーは開始されません。
対処方法:Firebirdのスレッドスタックとfirebird.logを保存し、マスターホストでFirebirdを再起動してからresumeを実行します。すぐに再起動できない場合は、マスターノードを停止してフェイルオーバーを開始してください。
失敗状態からの復帰
hqbirdrcm resume -service shop -check hqbirdrcm resume -service shop
RCMはマスターノードに直接問い合わせ、以下を確認します:
- サービス上で操作が実行されていないこと;
- マスターノードが応答すること;
- そのFirebirdが接続を受け付けること;
- ホストが現在のエポックのマスターであり、データベースがオンラインであること。
別のホスト上のレプリカがマスターに追従していれば、サービスはokになります。そうでなければdegraded_no_replicaになります。その場合はrejoinを実行してください。
通常に戻す · マスターへ昇格
手動レプリカ昇格:ステップバイステップ
サービスに属するデータベースには、スイッチオーバーとフェイルオーバーを使用してください。以下のすべてのステップを自動で実行します。手動の手順はサービスを持たないデータベース用に残されています。「通常に戻す」はレプリカを独立した作業用データベースにします(レポート、テスト、障害時用)。「マスターへ昇格」はレプリカを新しいマスターにします。
昇格はコンパニオンノードのペア(同じFirebirdインスタンス上のレプリカノードとマスターノード)で機能します。データベースファイルはその場に残り、制御がコンパニオンに移ります。各ステップはデータベース行に表示されます。ステップが中断された場合は、ボタンをもう一度クリックしてください。完了したステップは繰り返されません。
接続
RCMの表示内容
新しいGUIDが必要な理由
これがないと、新しいマスターは古いマスターのGUIDでセグメントを書き込み、そのレプリカがそれらを拒否してしまいます。ノードはFirebirdを再起動せずに、nbackupを通じてデータベースにその場で新しいGUIDを付与します。これは2.5、3.0、4.0、5.0で機能します。
新しいGUIDの後、古いnbackupチェーンは適合しなくなります。新しいレベル0のコピーを作成してください。
サービスなしの手動スイッチオーバー
- 古いマスターへのアプリケーションの書き込みを停止します。
IN_SYNCと空のキューを待ちます。- 「検証」をクリックします:行数が一致します。これは行数のみを確認します。
- 「マスターへ昇格」をクリックし、FINALIZEステップを待ちます。
- アプリケーションを新しいマスターに切り替えます。
- レベル0のnbackupコピーを作成し、新しいレプリカを接続します。
手動昇格では、アプリケーションが旧マスターに書き込んでいるかどうかを確認せず、旧マスターをレプリカとして復帰させることもありません。まずご自身で書き込みを停止してください。スイッチオーバーは両方の手順を自動で行います。書き込みを停止し、旧マスターを復帰させます。
再起動 · パラメータ · 証明書
設定とセキュリティ
Firebirdはレプリケーション設定を起動時にのみ読み込みます。そのため、誰がいつ再起動するかが重要になります。ルールはシンプルです。マスターのFirebirdが自動的に再起動されることはありません。例外が1つあります。スイッチオーバーとフェイルオーバーです。ここでは、再起動はオペレーターが開始した操作、またはオペレーターが有効にしたルールによって開始された操作の一部として行われます。
| ノード | Firebirdを再起動するのは誰か |
|---|---|
| マスター | あなただけです。マスターノードが単独でFirebirdを再起動することはありません。 |
| レプリカ、同じFirebirdにマスターデータベースがある場合 | あなたです。コピーウィンドウでの許可により、ノードは古いレプリカファイルの置き換えまたは削除のためにのみFirebirdを停止できます。 |
| レプリカ、自動再起動が許可されていない場合 | あなたです。 |
| その他のレプリカ | ノードが再起動ウィンドウ内で行います。一連のコピーの後に1回で、データベースごとではありません。 |
多数のデータベースに対するレプリケーションパラメータ
データベースを選択します。RCMはFirebirdのバージョンとロールごとにグループ化します。各パラメータについて、アクションを選択します。維持、設定、上位レベルの値にリセット、または書き込まない。現在の値がどこから来ているか(データベース、ノード、Firebird)が表示されます。
プレビューはノード上の値を確認し、何も変更しません。また、誰がFirebirdを再起動するか、および影響を受けるデータベースの数も表示します。
- 時間枠あなたが要求したマスターの再起動: 22:00~05:00。レプリカ: いつでも。マスターへの手動昇格は両方のFirebirdサーバーを時間枠なしで同時に再起動します。スイッチオーバーは1つのFirebird(新しいマスター上)を再起動します。フルコピー速度: 23:00~05:00。
- セグメント速度デフォルトで50 MB/s、短時間のピークは200 MB。再起動なしで即座に変更されます。
- レプリカファイルの移動新しいコピーなしで別のサブフォルダへ移動。エラー時はロールバック。
- 手動で構成されたレプリカ新しいコピーなしで管理下に置くことができます。RCMはGUIDによってファイルを照合します。
- コマンドラインコピー、チェック、一時停止、昇格、その他のRCMコマンドは
hqbirdrcmにもあります。スイッチオーバー、フェイルオーバー、サービスルールは3つの方法で利用できます。ブラウザ、コマンド、APIです。 - ビューアロールビューアロールを持つRCMユーザーはすべてを閲覧し、チェックを実行できます。このユーザーにはあらゆる変更が禁止されています。
- 6言語RCMインターフェース。アラートの手順は英語です。
1つのドキュメントがクラスタを記述する
メンバー、そのロール、マスター → レプリカのリンクは、HQ MonitorまたはRCMのクラスタページで設定します。各ホストのfbagentが記述を受け取り、ノードを自身でインストールおよび構成します。HQCenterがない場合、RCMは最大3ホストの1つのクラスタを管理します。
mTLSと証明書
すべてのクラスタチャネルは共有CAによるmTLSで保護されています。キーはメンバーホスト上で作成され、決してそこから出ることはありません。送信されるのは証明書要求のみです。証明書は90日間有効で、有効期限の30日前に自動更新されます。新しいキーと新しいCAは管理者のコマンドで発行されます。
RCMのWebインターフェースはポート7444でHTTPS経由で動作します。エージェントは、ホストでRCMが有効になると、このポートをファイアウォールで開放します。ログインはユーザー名とパスワードで行います。最初のパスワードは変更する必要があります。これはRCMホスト上のrcm-initial-passwordファイルにあり、画面には表示されません。パスワード変更後、エージェントはこのファイルを削除します。ログインページにはクラスタCAハッシュが表示されます。RCMホスト上のセットアップサマリーの「CA hash」行と比較してください。各変更とログインは監査ログに記録されます。
コマンド · タイムアウト · ポート · 拒否コード
リファレンス
コマンド
| タスク | コマンド |
|---|---|
| ホストでRCMを有効にする | fbagent --cluster-init <id> |
| ペアリングウィンドウを開くまたは閉じる | fbagent --cluster-pairing on|off |
| ホストをリンクする | hqbirdrcm cluster link -hosts db1,db2 -master db1 |
| ペアリングウィンドウのないホスト用トークン | hqbirdrcm cluster join-token -note db2 |
| クラスタから離脱する | fbagent --cluster-leave |
| サービスを記述する | hqbirdrcm services put -id shop -file shop.json |
| マスターの場所 | hqbirdrcm where -service shop |
| 計画的なマスターの移動 | hqbirdrcm switchover -service shop [-to db2] [-check] |
| 緊急移動 | hqbirdrcm failover -service shop -accept-data-loss |
| 旧マスターをレプリカとして復帰させる | hqbirdrcm rejoin -service shop |
| 失敗状態から抜け出す | hqbirdrcm resume -service shop [-check] |
| 自動フェイルオーバールール | hqbirdrcm policy -service shop -auto-failover on|off |
| 操作の進捗とキャンセル | hqbirdrcm operations show|cancel -id <id> |
タイムアウトと間隔
| 項目 | デフォルト | 変更方法 |
|---|---|---|
| スイッチオーバー: 接続の終了を待つ | 120 秒、最大 900 秒 | -quiesce-timeout |
| スイッチオーバー: レプリカが最後のセグメントを適用する | 300 秒 | -apply-timeout |
| スイッチオーバー: コマンドが操作の終了を待つ | 2 時間 | -timeout |
| フェイルオーバー: レプリカが受信したものを適用する | 60 秒、最大 3600 秒 | -apply-timeout |
| 自動フェイルオーバー: マスターが応答しない | 90 秒 | -failover-delay |
| 自動フェイルオーバー: 遅延の上限 | 30 秒 | -max-data-loss |
| 自動フェイルオーバー: 2 回の間の休止 | 1 時間 | -min-interval |
| フェイルオーバー条件と旧マスターのフェンスの確認 | 10 秒ごと | 変更不可 |
| Firebird のハング: 接続プローブ | 1 分に 1 回、制限 10 秒 | 変更不可 |
| ルーター: マスターノードのポーリング | 2 秒ごと | 変更不可 |
| ペアリングウィンドウ、参加トークン | 24 時間 | ウィンドウ: リクエスト内の時間数 |
| ホストのリンク: エージェント証明書、ノード起動 | 最大 10 分、最大 20 分 | 変更不可 |
ポート
| ポート | 用途 |
|---|---|
7443 | RCM: ノード、エージェント、ルーター、mTLS。 |
7444 | RCM: Web インターフェースとオペレーターコマンド、HTTPS。 |
7450–7459 | エージェントのペアリングウィンドウ: 7450 + スロット。 |
7051–7060 | エージェントの第 1 ノード: 7051 + スロット。 |
7061–7070 | エージェントの第 2 ノード: 7061 + スロット。 |
router_port | ルーター上のサービスポート(例: 3051)。 |
拒否コード
| コード | 意味 |
|---|---|
not_in_sync | 対象のレプリカが遅れているため、スイッチオーバーは開始されません。 |
busy | ノード上でデータベースのコピーまたは昇格が実行中です。 |
service_busy | サービス上で既に操作が実行中です。 |
master_reachable | マスターが応答しているため、フェイルオーバーは不要です。 |
replica_unusable | レプリカに使用可能なデータベースコピーがありません。 |
data_loss_not_accepted | -accept-data-loss スイッチなしでのフェイルオーバーです。 |
past_no_return | ポイント・オブ・ノーリターン後のキャンセルです。 |
no_witnesses | ルーターなしでの自動フェイルオーバーです。 |
node_port_clash | ホストの別のメンバーがノードポートを使用しています。 |
seats_exceeded | クラスターには既に 3 台のホストがあります。 |
要点を簡潔に
よくある質問
スイッチオーバーとフェイルオーバーの違いは何ですか?
スイッチオーバーは計画的なものです。両方のホストが動作し、データは失われず、旧マスターは自動的にレプリカとして復帰します。フェイルオーバーは緊急時のものです。マスターホストが失われ、マスターが送信しなかったものは失われ、旧マスターは別のコマンドで復帰させます。
スイッチオーバー中にアプリケーションには何が見えますか?
RCM が書き込みを停止すると、旧マスターへの接続は閉じられます。レプリカがマスターになるまでは、書き込み先がありません。新しいエポックの後、アプリケーションは再び接続します。同じルーターアドレス、または新しいマスターのアドレスに対してです。
スイッチオーバーにはどのくらいかかりますか?
書き込みの一時停止には 3 つの部分があります。接続の終了待ち(デフォルトで最大 120 秒)、最後のセグメントの追いつき、そして新しいマスターでの Firebird の 1 回の再起動です。旧マスターの再参加はこの後にバックグラウンドで実行されます。その時間はデータベースコピーの時間です。
ルーターなしで運用できますか?
はい。スイッチオーバーと手動フェイルオーバーはルーターなしで動作します。その場合、アプリケーションは RCM 自体からマスターアドレスを取得します。自動フェイルオーバーはルーターなしでは有効になりません。ルーターがその証人だからです。
自動フェイルオーバーで失われるデータはどのくらいですか?
レプリカの遅延が 30 秒を超える場合、ルールは開始されません。ただし、マスターが書き込んで送信しなかったセグメントは失われます。操作レポートにその数が表示されます。旧データベースファイルは保持されます。これらの変更はそのファイルと旧マスターのアーカイブに残ります。
サービスが failed 状態です。どうすればよいですか?
Services ページで理由を確認してください。マスターの Firebird がハングしている場合は再起動してください。その後、hqbirdrcm resume -service <id> -check でサービスをブロックしているものを確認し、スイッチなしの resume でサービスを稼働状態に戻します。
旧マスターの再参加にはどのくらいのスペースが必要ですか?
再参加は新しいデータベースコピーです。通常のコピーと同じルールが適用されます。データベースサイズの 105 % です。フェイルオーバー後、旧ファイルは新しいファイルの隣に残るため、旧ホストには両方のファイル分のスペースが必要です。
Windows で動作しますか?
ノードと RCM は Windows と Linux で動作します。ルーターは Linux でのみ動作します。