HQbird Cluster : cluster et réplication
Cluster et réplication HQbird Cluster
Le maître écrit les modifications dans des segments et les envoie aux répliques par un canal sécurisé. Le nœud crée lui-même la copie de la base de données pour une nouvelle réplique, via nbackup, pendant que les utilisateurs continuent de travailler. Le gestionnaire de cluster (RCM) affiche le retard, les files d'attente et les erreurs de tous les nœuds. Il déplace aussi le maître vers un autre hôte : comme un déplacement planifié, sans perte de données, ou comme un déplacement d'urgence, lorsque l'hôte maître est perdu.
- Firebird 2.5 · 3 · 4 · 5
- nbackup copie sans arrêter le maître
- switchover sans perte de données
- failover manuel ou par une règle
- routeur la chaîne de connexion ne change pas
- mTLS sur tous les canaux
Nœuds · RCM · topologies
Fonctionnement du cluster
Un nœud s'exécute à côté de chaque Firebird. Un nœud a un seul rôle : maître ou réplique. Le nœud maître envoie les segments, le nœud réplique les reçoit, et le Firebird de la réplique les applique à sa copie de la base de données.
Il y a un RCM par cluster. Il s'exécute sur n'importe quel hôte qui peut joindre tous les nœuds. Les nœuds lui envoient des statistiques, et il transmet les commandes de l'opérateur aux nœuds. RCM associe un maître et une réplique par le GUID de la base de données, pas par le nom du nœud.
RCM ne s'installe pas tout seul. Vous l'activez sur un hôte lorsque vous avez besoin d'un cluster. Vous pouvez placer un routeur devant les applications : il les envoie toujours au maître actuel.
| Composant | Combien | Ce qu'il fait |
|---|---|---|
| Firebird (HQbird) | sur chaque serveur de base de données | Stocke les bases de données et écrit les segments de réplication. |
| fbagent | un par instance Firebird | Arrête et démarre Firebird lorsque le nœud le demande. |
| hqclusternode | un par instance et par rôle | Configure la réplication, envoie les segments, crée la copie de la base de données pour une réplique. |
| hqbirdrcm (RCM) | un par cluster | Interface web, commandes, alertes, statistiques. Exécute le switchover et le failover. |
| Routeur (hqclusternode router) | facultatif, sur l'hôte des applications, Linux | Maintient HAProxy pointé vers le maître de chaque service. Les applications se connectent au routeur. |
- Même version majeure5.0 sur le maître, 5.0 sur la réplique. Sinon la réplique refuse avant tout transfert de données.
- HQbird 2.5 et 3.0Réplication via le plugin replconf. Les filtres définissent l'ensemble des tables.
- Dossier propre à chaque maîtreLa réplique place la base de données dans un dossier nommé d'après le nœud maître. Les bases de données de même nom provenant de maîtres différents n'entrent pas en conflit.
- Pas de fbagent, pas de modificationsSi fbagent n'est pas disponible, le nœud refuse toute action qui modifie la configuration. Il ne fonctionne pas « en partie ».
- Nœud sans RCMUn nœud peut fonctionner seul. RCM est nécessaire pour la vue d'ensemble et les commandes.
- Compression du canalPour un réseau lent : zstd par pair, prend effet immédiatement.
- Jusqu'à 3 hôtes sans HQCenterChaque hôte avec un maître ou une réplique occupe une place dans le cluster. RCM n'accepte pas un quatrième hôte.
RCM · fenêtre d'appairage · hôtes Link · slots
Comment créer un cluster
L'installation de HQbird place les programmes du cluster sur chaque serveur, mais ne les active pas. RCM et la fenêtre d'appairage sont désactivés par défaut. Vous créez un cluster en trois étapes : activez RCM sur un hôte, ouvrez la fenêtre d'appairage sur les autres hôtes, reliez les hôtes d'un seul clic.
- 1Activer RCMsur un hôte : dans HQ Monitor ou avec
fbagent --cluster-init - 2Ouvrir la fenêtre d'appairagesur les autres hôtes, pendant 24 heures
- 3Relier les hôtesRCM trouve les agents, émet les certificats et démarre les nœuds
Étape 1. RCM sur un hôte
Dans HQ Monitor, ouvrez la section « Cluster sur ce serveur » et activez RCM. Une commande sur l'hôte fait la même chose. L'agent crée l'autorité de certification du cluster, le certificat RCM et le premier utilisateur. Les ports 7443 et 7444 s'ouvrent dans le pare-feu.
fbagent --cluster-init <id>
Pendant l'installation, le commutateur --rcm on (Linux) ou /RCM (Windows) fait la même chose.
Étape 2. Fenêtre d'appairage
Sur chaque hôte qui rejoindra le cluster, l'agent ouvre le port d'appairage pendant 24 heures. Le port se ferme de lui-même à la fin de la fenêtre ou lorsque l'agent a rejoint le cluster.
fbagent --cluster-pairing on
Un bouton dans HQ Monitor fait la même chose. Pendant l'installation : --cluster-pairing on ou /DISCOVERY.
Étape 3. Relier les hôtes
Dans RCM, ouvrez Paramètres → Relier les hôtes et saisissez les hôtes, un par ligne. Le bouton Vérifier les hôtes lit les ports 7450–7459 de chaque hôte. Chaque agent qui a répondu correspond à une ligne du tableau.
- Une ligne affiche : port, instance, version et port de Firebird, port du nœud, empreinte du certificat.
- Sélectionnez les lignes avec les cases à cocher et choisissez le maître. Une ligne en erreur ne bloque pas les autres lignes.
- Relier émet un certificat à chaque agent, crée les membres et les liens maître → réplique.
- RCM attend jusqu'à 10 minutes le certificat de l'agent et jusqu'à 20 minutes le démarrage des nœuds.
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1
Comparez l'empreinte de la ligne avec celle que l'agent a affichée sur son hôte. Ainsi, vous savez que vous reliez le bon serveur.
- Plusieurs agents sur un hôteChaque agent a son propre slot de 0 à 9. Port d'appairage 7450 + slot, ports du nœud 7051 + slot et 7061 + slot. L'installation choisit le slot ; le commutateur
--pairing-portle définit explicitement. - Ajouter un membreLa page Cluster propose un port de nœud libre et refuse un port utilisé par un autre membre de cet hôte.
- Noms des membres
<nom de l'hôte>-masteret<nom de l'hôte>-replica. RCM ne renomme pas un membre : un nouveau nom est un nouveau membre. - Sans la fenêtre d'appairageRCM émet un jeton pour un agent, pendant 24 heures. Sur le nouvel hôte :
fbagent --cluster-joinavec ce jeton et le hachage de l'autorité de certification.
- Propriétaire RCML'agent qui a activé RCM sur l'hôte. Un second agent sur cet hôte reçoit un refus. Si le propriétaire est supprimé,
fbagent --cluster-init --rcm-takeoverdéplace RCM vers un autre agent. Le cluster reçoit une nouvelle autorité de certification, et vous devez relier les membres à nouveau. - Quitter le cluster
fbagent --cluster-leavearrête les nœuds, ferme leurs ports et supprime les certificats du cluster. Les dossiers des nœuds restent ;--remove-datales supprime. L'agent part de lui-même si RCM l'a révoqué ou a supprimé son dernier membre. - Pare-feuL'agent ouvre et ferme lui-même ses ports de cluster. Il ne ferme pas un port qui était déjà ouvert avant lui.
- Désinstallation de HQbirdLe propriétaire RCM n'est pas supprimé tant que d'autres agents utilisent son RCM. L'assistant d'installation demande ; le mode silencieux nécessite
--forceou/FORCE.
La page Clusters du HQ Monitor local fonctionne via l'agent sur l'hôte RCM. Elle n'a pas besoin du mot de passe RCM. Seul un administrateur voit la section « Cluster sur ce serveur ».
Initialisation · reinit
Nouveau réplica sans arrêter le maître
Un réplica ne reçoit la base de données que du maître. Le nœud maître fige le fichier avec nbackup -L, l'envoie par parties et supprime le verrou immédiatement. Les utilisateurs du maître continuent de travailler pendant tout ce temps : leurs modifications vont dans .delta et reviennent ensuite dans la base de données.
gbak et une copie manuelle du fichier ne fonctionnent pas ici. gbak modifie le GUID de la base de données et rompt le lien maître–réplica. Une copie du fichier d'une base de données en cours d'exécution n'est pas cohérente.
Utilisateurs du maître
Fichiers
- Perte de connexionLe transfert reprend à partir de la dernière partie reçue. Une copie inachevée reste sur le réplica pendant 24 heures.
- ErreurLe nœud supprime le verrou, efface le fichier inachevé et place la base de données en état FAILED. La tentative suivante repart d'un état connu.
- Transactions pendant le verrouElles ne sont pas perdues. Firebird 4 et 5 : le nœud identifie les transactions ouvertes au moment de
nbackup -L, et le réplica les rejoue à partir des segments. HQbird 2.5 et 3.0 : le nœud attend la fin de ces transactions (environ une minute), sinon la copie ne démarre pas.
- Une base de données à la foisPar défaut, le nœud maître copie une seule base de données. Les autres attendent dans une file d'attente.
- Autres réplicas de cette base de donnéesPendant la copie, ils ne reçoivent pas les segments de cette base de données. Ils se rattraperont ensuite.
- Réinitialisation automatiqueRCM peut recopier de lui-même une base de données en état NEEDS_REINIT, uniquement dans une fenêtre définie. Désactivé par défaut.
Le mode doux attend les transactions longues
Avant le verrou, le nœud recherche les transactions d'écriture démarrées avant le plus ancien segment de l'archive du maître. Si l'archive est vide (première copie), la limite est le moment où le nœud a activé la publication. Le réplica ne peut pas rejouer ces transactions et s'arrêterait. La copie ne démarre donc pas tant que ces transactions sont ouvertes.
RCM affiche les cinq connexions ayant les transactions les plus anciennes : utilisateur, client, âge, requête en cours. Vous pouvez les déconnecter et relancer la copie immédiatement. Pendant l'attente de la copie, l'archive du maître n'est pas nettoyée, mais sur 1000 segments au maximum. Ensuite, le nettoyage reprend et RCM émet une alerte.
Le mode normal verrouille la base de données immédiatement, sans la vérification.
Espace et vitesse
| Où | Ce qui est nécessaire |
|---|---|
| Maître, volume de la base de données | Au moins 105 % de la taille de la base de données libres. .delta grossit pendant la copie. |
| Réplica, volume de la base de données | 105 % plus la réserve de volume free_space_floor_gb (1 Go par défaut). Le nœud réserve la taille complète à l'avance ; aucune seconde copie n'est nécessaire. Lors d'une copie répétée, l'ancien fichier reste jusqu'à la fin. S'il n'y a pas d'espace pour les deux fichiers, la case « Remove the old replica » supprime l'ancien fichier avant le transfert. |
| Vitesse de nuit | Dans la fenêtre de transfert (23:00–05:00 par défaut), elle est constante, 100 Mo/s par défaut. |
| Vitesse de jour | Une part de la vitesse du disque mesurée, la moitié par défaut. Une copie démarrée de jour accélère d'elle-même la nuit. |
L'espace est vérifié deux fois et uniquement avant le verrou : d'abord par RCM à partir des statistiques, puis par les nœuds avec une mesure en direct des deux côtés. La vérification du nœud ne peut pas être ignorée : elle protège le disque contre un remplissage au milieu de la copie.
Firebird 4 et 5 · HQbird 2.5 et 3.0
Publication : quelles tables vont vers le réplica
Firebird 4 et 5 n'écrivent dans les segments que les modifications des tables publiées, et uniquement lorsque la publication est activée. Sans elle, les modifications n'atteignent pas le réplica. Le nœud le détecte et émet une alerte. Le bouton « Sync publication » l'active et construit la liste correcte des tables.
Ce que fait la synchronisation
- active la publication, sauf si l'opérateur l'a désactivée volontairement ;
- ajoute toutes les tables avec une clé primaire ou un index unique ;
- retire les tables sans clé et les tables que l'opérateur a exclues ;
- désactive l'ajout automatique des nouvelles tables.
Sans clé, le réplica ne peut pas trouver la ligne pour UPDATE et DELETE. Une telle table ne peut donc pas être publiée : ajoutez une clé et resynchronisez.
- Vérification horaireSi la publication est désactivée, le nœud la vérifie toutes les 2 minutes. Pour une base de données avec un réplica, c'est une alerte.
- Liste d'exclusionStockée sur le nœud maître. Lorsqu'un réplica est promu maître, la liste est transférée vers le nouveau maître.
- Nouvelle tableNe rejoint pas la publication d'elle-même. Créez une clé et cliquez sur « Sync publication ».
- Copie sans publicationLe nœud maître refuse de copier la base de données si la publication est désactivée ou ne contient aucune table (
publication_off). La fenêtre d'initialisation propose « Sync publication and initialize ». - HQbird 2.5 et 3.0Pas de publications. Les filtres d'inclusion et d'exclusion dans les paramètres de réplication définissent l'ensemble des tables.
Les modifications effectuées pendant que la publication est désactivée ou qu'une table est exclue n'atteignent pas le réplica, même après l'avoir activée. « Verify » compare uniquement le nombre de lignes ; il ne détecte pas les UPDATE perdus. Si la base de données a reçu des écritures pendant que la publication était désactivée, copiez à nouveau la base de données.
Retard · archive · alertes · vérification des données
Surveillance : le réplica ne prend pas de retard en silence
Les nœuds envoient des statistiques à RCM toutes les 30 secondes. Pour chaque paire maître–réplica, vous voyez : le dernier segment, combien ont été envoyés, confirmés et appliqués, la file d'attente et le retard en secondes.
| État de la base de données | Groupe dans RCM | Signification |
|---|---|---|
IN_SYNC | Ok | Le réplica a reçu tous les segments. |
LAGGING | Pending | Le réplica est en retard, des segments sont dans la file d'attente. |
SEEDING | Pending | La base de données est en cours de copie vers le réplica. |
NEEDS_REINIT | Error | Le réplica doit être copié à nouveau. |
FAILED | Error | La dernière copie a échoué. |
L'archive du maître est nettoyée par étapes
Le maître conserve les segments envoyés afin qu'un réplica puisse les redemander. Si l'espace est faible, il supprime d'abord ce qui n'est sûrement pas nécessaire.
- 1Appliqués par tous, plus anciens que la limitela limite par défaut est de 2 jours
- 2Appliqués, mais plus récents que la limitesi moins de 1 Go est libre ; alerte
- 3Pas encore appliquésen dernier recours ; le réplica a besoin d'une nouvelle copie
Alertes avec instructions
RCM connaît plus de 20 types d'alertes, et chacune est accompagnée d'une instruction sur ce qu'il faut faire. Vous pouvez acquitter une alerte, la mettre en sourdine pendant 60 minutes ou la supprimer. Si la cause persiste, l'alerte réapparaît.
Pas d'e-mail ni de webhook : surveillez la page « Alerts » ou interrogez l'API de RCM.
| Code | Ce qui s'est passé |
|---|---|
backlog_warn / backlog_critical | Le maître a 32 / 48 segments non archivés. |
apply_error, replication_stopped | La réplique ne peut pas appliquer un segment. |
replication_guid_mismatch | Le GUID de la base de données maître a changé : restauration ou remplacement de fichier. |
segment_missing, sequence_gap | La séquence des segments est rompue. |
firebird_down, firebird_log_error | Firebird est arrêté ou écrit des erreurs. |
firebird_not_answering | Le port Firebird est ouvert, mais une connexion à la base de données a échoué pendant une minute. |
master_publication_off | La publication est désactivée pour une base de données ayant une réplique. |
data_mismatch | La vérification périodique des données a trouvé une différence. La vérification des données est activée séparément. |
Comparaison du maître et de la réplique
Verify compte les lignes des tables sélectionnées sur le maître et sur la réplique et les compare. Il ne compare pas le contenu des lignes : il ne trouvera pas les lignes modifiées. Lancez-le à un moment calme : sous des écritures actives, les comptages peuvent différer.
La vérification périodique est désactivée par défaut : COUNT(*) lit toute la table. Activez-la avec le paramètre de nœud data_check_enabled ; elle s'exécute une fois toutes les 2 heures. Les nouveaux paramètres de vérification prennent effet immédiatement, sans redémarrage du nœud. La vérification compare les données lorsque le maître et la réplique sont au même segment. Une différence déclenche une alerte. Une table exclue de la publication apparaît comme « non publiée », et non comme une erreur.
- Suspendre l'envoiPour une ou plusieurs bases de données. Après « Reprendre », l'envoi continue depuis le dernier segment, sans nouvelle copie. L'archive grossit entre-temps.
- Journaux des nœuds distantsreplication.log, firebird.log et le journal du nœud directement dans RCM, sans se connecter au serveur.
- Pas de licenceLe maître cesse l'envoi ; Firebird et les bases de données continuent de fonctionner. Après l'installation d'une licence, l'envoi reprend de lui-même en moins d'une minute.
- Journal des commandesChaque commande RCM est enregistrée avec son auteur et son résultat. Rapport du cluster dans un seul fichier JSON.
Service · époque · où se trouve le maître
Services : une base de données sur plusieurs hôtes
Un service est une base de données logique sur plusieurs hôtes. Le maître peut passer d'un hôte à l'autre, mais le nom du service et l'alias de la base de données ne changent pas. Les applications et les routeurs demandent à RCM où se trouve actuellement le maître du service.
Chaque changement de maître reçoit le numéro suivant : l'époque. RCM conserve l'historique des époques : quand le maître a changé et pourquoi. RCM trouve un service par le nœud et le chemin du fichier, pas par le GUID : lors d'un basculement, le GUID de la base de données change, mais le chemin reste le même.
Ce que décrit un service
- alias : le nom de la base de données dans
databases.conf. Le nouveau maître l'écrit lui-même. - members : une entrée par hôte : nœud maître, nœud réplique, chemin du fichier, priorité.
- router_port : le port sur lequel les routeurs acceptent les applications de ce service.
- policy : les règles de basculement automatique et le mode qui ferme l'ancien maître.
Chaque hôte d'un service exécute deux nœuds sur un seul Firebird : un nœud maître et un nœud réplique. C'est la même disposition « Deux nœuds par hôte » que dans le schéma ci-dessus.
Le nœud maître a besoin de l'adresse Firebird pour les clients : le paramètre advertise_addr. Sans lui, RCM ne peut pas indiquer à une application où se connecter.
Où se trouve le maître maintenant
hqbirdrcm services put -id shop -file shop.json hqbirdrcm services hqbirdrcm where -service shop hqbirdrcm where -db shop
where répond avec : l'hôte et l'adresse du maître, le numéro d'époque, les répliques et les problèmes détectés. Via l'API, une application peut attendre une nouvelle époque sans interroger RCM chaque seconde.
La page Services dans RCM affiche la même chose pour chaque service : l'état, l'époque, le maître, l'adresse Firebird, les répliques et les problèmes. Le champ Find trouve une base de données par alias, nom de service, GUID ou chemin.
Les services dans le navigateur
Tout ce que les commandes hqbirdrcm font pour les services est aussi disponible dans l'interface web de RCM. Vous n'avez pas besoin de la ligne de commande pour cela.
- Page du serviceL'état et sa raison, le maître, les répliques avec leur retard, les hôtes et leurs rôles, les routeurs, les anciens maîtres en attente de fermeture, la règle de basculement automatique, l'opération en cours étape par étape et l'historique des maîtres.
- Boutons d'actionSwitchover, Failover, Rejoin, Resume. Chaque bouton exécute d'abord une vérification et affiche les problèmes. L'action ne démarre qu'après votre confirmation. Un second clic ne lance pas une seconde opération.
- Formulaire de serviceLe bouton New service crée un service : nom, alias, port du routeur et une ligne pour chaque hôte. Le formulaire propose les nœuds et les bases de données qu'ils voient. Check vérifie le formulaire, Save affiche d'abord la liste des modifications.
- OpérationsUne page avec tous les switchovers, failovers et rejoins, les plus récents en premier. Pendant qu'une opération s'exécute, l'en-tête de chaque page affiche un libellé avec un lien vers elle.
- Suppression d'un serviceSeul l'enregistrement dans RCM est supprimé. La boîte de dialogue indique ce qui reste (bases de données, réplication, rôles des nœuds, alias) et ce qui est perdu (historique, règle, port sur les routeurs), et vous demande de saisir le nom du service.
- Rôle ViewerUn utilisateur ayant ce rôle voit toutes les pages et exécute des vérifications, mais ne dispose pas des boutons d'action.
| État du service | Signification | Que faire |
|---|---|---|
ok | Le maître fonctionne, la réplique sur un autre hôte le suit. | Rien. |
rejoining | L'ancien maître revient en tant que réplique. | Attendez : la base de données est en cours de copie. |
degraded_no_replica | Le maître fonctionne, il n'y a pas de réplique. Cela se produit après un failover ou après une erreur de rejoin. | hqbirdrcm rejoin |
failed | RCM ne peut pas déterminer l'état, ou le Firebird du maître ne répond pas. | hqbirdrcm resume après une vérification |
Un service à l'état failed ne démarre ni switchover ni basculement automatique. Seul l'opérateur peut le sortir de cet état : avec la commande resume, avec un rejoin ou avec un failover manuel.
Déplacement planifié du maître · sans perte de données
Switchover : le maître passe sur un autre hôte
Le switchover déplace le maître d'un service vers un autre hôte sans perte de données. RCM arrête lui-même les écritures sur l'ancien maître, attend que la réplique applique le dernier segment et la promeut maître. Ensuite, l'ancien maître revient dans le cluster en tant que réplique du nouveau, au même chemin.
Il est nécessaire pour les travaux planifiés : mise à jour du système d'exploitation, remplacement de disque, déplacement de la charge vers un autre serveur. D'abord la vérification, puis le démarrage :
hqbirdrcm switchover -service shop -check # vérification seule, ne change rien hqbirdrcm switchover -service shop -to db2 # déplacer le maître vers db2
La commande exécute l'opération jusqu'au bout et affiche chaque étape. Un code de sortie 0 signifie le succès. Le bouton Switchover sur la page du service dans RCM fait de même : d'abord la vérification, puis la confirmation, puis les étapes de l'opération à l'écran.
Applications
Hôtes et service
Ce que RCM vérifie avant le démarrage
- Le service est à l'état
ok, le maître est connu. - La réplique cible est à l'état
IN_SYNC. - Les quatre nœuds des deux hôtes répondent.
- La réplique cible n'est pas suspendue à cause de la licence.
- Aucune copie de base de données ni promotion ne s'exécute sur ces nœuds.
Si quelque chose ne va pas, RCM refuse et donne la raison sous forme de code. Jusqu'à ce point, rien n'a changé.
Si quelque chose se passe mal
- Avant le point de non-retour. Une erreur, un délai d'attente ou une annulation remet l'ancien maître en ligne. Le service reste
oksur l'ancien hôte. Si l'ancien maître ne revient pas en ligne, le service passe àfailed: remettez la base de données en ligne avecgfix -online normalet exécutezresume. - Après le point de non-retour. Vous ne pouvez pas annuler. Une erreur met le service à
failed. - Erreur pendant le rejoin. Le nouveau maître fonctionne, il n'y a pas de réplique :
degraded_no_replica. Exécutezhqbirdrcm rejoin -service shop.
hqbirdrcm operations show -id <id> hqbirdrcm operations cancel -id <id>
Dans le navigateur, il s'agit de la page Operations et du bouton Cancel sur la page du service.
- Arrêt des écrituresL'ancien maître passe en arrêt complet. Le nœud attend la fin des connexions : 120 secondes par défaut, 900 au maximum. Le commutateur
-force Ncoupe les connexions après N secondes. - RattrapageChaque seconde, RCM demande à la réplique si elle a appliqué le dernier segment. La limite par défaut est de 300 secondes.
- Un seul redémarrage de FirebirdSur le nouveau maître, sans attendre la fenêtre. Lors du rejoin, le Firebird de l'ancien hôte ne redémarre que si le nœud réplique en a besoin.
- Le rejoin est une copie de base de donnéesLe nouveau maître copie la base de données vers l'ancien hôte via nbackup. Pour une grande base de données, cela prend du temps, c'est pourquoi la commande attend l'opération jusqu'à 2 heures.
- RCM redémarréChaque étape est écrite sur disque avant l'appel au nœud. Après un redémarrage, RCM reprend l'opération à partir de l'étape en cours.
- Verrou de servicePendant qu'un switchover ou un rejoin s'exécute, RCM refuse les autres modifications sur ces nœuds : paramètres, redémarrage de Firebird, copie, pause de la transmission.
Les connexions à l'ancien maître se ferment à l'étape d'arrêt des écritures. L'application doit se reconnecter. Avec un routeur, la chaîne de connexion reste la même. Sans routeur, l'application se connecte à l'adresse du nouveau maître : hqbirdrcm where -service shop la fournit.
HAProxy · Linux · une seule chaîne de connexion
Routeurs : les applications conservent la même adresse
Un routeur s'exécute sur l'hôte de l'application et maintient HAProxy pointé vers le maître de chaque service. Les applications se connectent à <router host>:<service port>. Après un switchover ou un failover, la chaîne de connexion reste la même.
Comment le routeur choisit un hôte
- Il obtient la table des services depuis RCM : époque, hôte maître, adresses Firebird.
- Toutes les 2 secondes, il demande au nœud maître : « es-tu le maître de cette époque, et la base de données est-elle en ligne ? »
- Réponse « oui » : l'hôte accepte les connexions.
- Réponse « non » : aucune nouvelle connexion, les connexions ouvertes restent.
- Nouvelle époque : les sessions de l'ancien maître se ferment immédiatement.
Si RCM n'est pas disponible, le routeur fonctionne avec la dernière table. Le routeur la conserve sur son disque.
Comment ajouter un routeur
Un routeur est un membre du cluster avec le rôle router. Ajoutez-le sur la page Cluster, comme un maître ou une réplique. Le fbagent sur cet hôte reçoit un certificat, écrit la configuration et enregistre le service. HAProxy doit être installé sur l'hôte.
Le router_port dans la description du service définit le port du service. Vous pouvez avoir plusieurs routeurs : un sur chaque hôte d'application.
La page Settings → Routers dans RCM affiche les routeurs et leurs rapports : quelle époque le routeur a appliquée et vers quel hôte il mène.
- Les connexions se coupentLorsque le maître change, les connexions ouvertes se ferment. L'application doit se reconnecter, à la même adresse.
- Adresse du clientFirebird voit l'adresse HAProxy, pas l'adresse de l'application. Les règles d'accès par IP client ne fonctionnent pas derrière un routeur.
- Linux uniquementLe routeur fonctionne sous Linux. Les serveurs de bases de données peuvent être sous Windows et Linux.
- TémoinsLes routeurs indiquent à RCM s'ils peuvent atteindre le port Firebird du maître. Le failover automatique ne s'active pas sans eux.
Hôte maître perdu · manuel ou par une règle
Failover : la réplique prend le rôle de maître
Vous avez besoin du failover lorsque l'hôte maître ne répond pas. La réplique devient le maître avec les segments qu'elle a reçus. Ce que le maître n'a pas envoyé est perdu. L'opérateur doit donc accepter explicitement la perte.
hqbirdrcm failover -service shop -check # what will be lost hqbirdrcm failover -service shop -to db2 -accept-data-loss # start
Sans le commutateur -accept-data-loss, la commande se contente de vérifier et d'afficher l'estimation de la perte : le dernier segment du maître, combien de segments la réplique a reçus et appliqués, et combien de segments sont perdus au minimum.
Dans le navigateur, il s'agit du bouton Failover sur la page du service. Il ne lance l'opération que lorsque l'opérateur a coché la case de perte de données et saisi le nom du service.
- 1Vérificationle maître ne répond pas, la réplique dispose d'une copie utilisable
- 2Rattrapagela réplique applique tout ce qu'elle a reçu ; limite 60 s
- 3Promotionpoint de non-retour : nouveau GUID, redémarrage de Firebird
- 4Nouvelle époquela réplique est le maître ; l'ancien maître attend d'être fermé
- Le maître répond encoreRCM refuse :
master_reachable. Exécutez un switchover, ou arrêtez d'abord le nœud maître. - Réplique en retardL'état
LAGGINGest accepté. Une réplique qui a besoin d'une nouvelle copie n'est pas adaptée. - Plusieurs répliquesPar défaut, RCM prend celle qui a appliqué le plus de segments, puis celle avec la priorité la plus élevée.
- Après le failoverLe service est dans l'état
degraded_no_replica: le maître fonctionne, il n'y a pas de réplique. Il n'y a pas de rejoin tant que l'ancien hôte n'est pas de nouveau opérationnel. - Service en état d'échecUn failover manuel fonctionne aussi pour lui. C'est la solution lorsque le Firebird du maître se bloque et que vous ne pouvez pas le redémarrer rapidement.
- Tables excluesRCM prend leur liste depuis la réplique ou depuis les dernières statistiques de l'ancien maître. S'il n'y a pas de liste, définissez les tables sur la page de publication du nouveau maître.
- Limite de rattrapageLe commutateur
-apply-timeout, 60 secondes par défaut, 3600 au maximum.
Failover automatique optionnel
RCM peut lancer lui-même un failover. C'est désactivé par défaut. Vous activez la règle pour chaque service séparément : sur la page du service dans le navigateur ou avec une commande.
hqbirdrcm policy -service shop # show the rule
hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30
RCM vérifie les conditions toutes les 10 secondes et ne lance un failover que lorsque toutes sont vraies.
| Condition | Pourquoi |
|---|---|
| Le nœud maître est silencieux pendant 90 secondes | Le maître n'envoie pas de statistiques. |
| Un appel direct de RCM au nœud maître échoue (5 secondes) | Il ne s'agit pas seulement de statistiques en retard. |
| Plus de la moitié des routeurs ne peuvent pas atteindre le port Firebird du maître | Les applications ne peuvent pas se connecter non plus. |
| Le nœud réplique n'a pas vu le maître pendant 90 secondes | Troisième témoin. |
| Le retard de la réplique est de 30 secondes ou moins | Limite de perte de données. |
| Une heure s'est écoulée depuis le dernier failover automatique | Le maître ne saute pas d'un hôte à l'autre. |
| RCM fonctionne depuis plus de 90 secondes | Après un redémarrage, RCM ne dispose pas de données fraîches. |
Le service est ok, aucune copie ni promotion ne s'exécute sur les nœuds | Aucun conflit avec le travail en cours. |
- Des routeurs sont nécessairesLa règle a besoin des deux routeurs et d'un port de service. Si l'un d'eux manque, la règle ne s'active pas :
no_witnesses. Placez les routeurs de sorte que la plupart d'entre eux ne se trouvent pas sur l'hôte maître. - Une seule foisAprès un basculement automatique, la règle se désactive elle-même. Seul l'opérateur la réactive.
- Pourquoi elle n'a pas démarréRCM conserve la raison de l'attente avec la règle de service et écrit chaque nouvelle raison dans son journal une seule fois.
- JournalL'opération s'exécute en tant que
system:autofailover. La première entrée indique ce que les témoins ont vu.
La limite de 30 secondes ne couvre que la file que la réplique a reçue et n'a pas encore appliquée. Les segments que le maître a écrits mais n'a pas envoyés n'y figurent pas. Le rapport d'opération indique leur nombre.
Fence · rejoin · hung master · resume
Rejoindre et récupération
Après un basculement, le cluster possède deux fichiers qui étaient le maître. Vous devez fermer l'ancien pour qu'il n'accepte plus d'écritures, et le réintégrer en tant que réplique. RCM effectue la première étape lui-même, la seconde sur commande de l'opérateur.
Fermeture de l'ancien maître (fence)
RCM tente de fermer l'ancien maître toutes les 10 secondes. Lorsque son nœud répond, il reçoit le rôle « fermé » et cesse d'envoyer des segments. Chaque fence est écrit dans le journal d'audit.
- Mode
route(par défaut). La base de données de l'ancien maître reste en ligne. Les routeurs ne l'utilisent plus. - Mode
shutdown. RCM arrête d'abord la base de données. Les connexions se ferment après 5 secondes.
hqbirdrcm policy -service shop -fence-mode shutdown
Réintégration de l'ancien maître (rejoin)
Lorsque l'ancien hôte fonctionne à nouveau, lancez la réintégration. RCM ferme d'abord l'ancien maître, si ce n'est pas déjà fait. Ensuite, le nouveau maître copie sa base de données vers l'ancien hôte, au même chemin.
hqbirdrcm rejoin -service shop
L'ancien fichier n'est pas supprimé. Il reste à côté du nouveau sous le nom <name>.pre-reinit-<time>.fdb. Ce fichier et l'archive de l'ancien maître contiennent des modifications que le nouveau maître ne possède pas.
En mode route, les applications qui se connectent directement à l'ancien hôte, sans passer par un routeur, peuvent encore écrire dans l'ancienne base de données. Ces modifications n'atteignent pas le nouveau maître. Si certaines applications fonctionnent sans routeur, activez le mode shutdown.
Maître bloqué
Firebird peut se bloquer de telle sorte que le port soit ouvert, mais que vous ne puissiez pas vous connecter à la base de données. Une vérification du port ne le détecte pas. C'est pourquoi le nœud se connecte lui-même à la base de données chaque minute, avec une limite de 10 secondes.
- Une minute sans réponse : l'alerte grave
firebird_not_answering. - RCM passe le service à
failedet écrit la raison : nœud, hôte, heure. - Le basculement automatique ne démarre pas dans cet état.
Que faire : enregistrez les piles de threads de Firebird et firebird.log, redémarrez Firebird sur l'hôte maître, puis exécutez resume. Si vous ne pouvez pas redémarrer rapidement, arrêtez le nœud maître et lancez un basculement.
Sortie de l'état d'échec
hqbirdrcm resume -service shop -check hqbirdrcm resume -service shop
RCM interroge directement le nœud maître et vérifie :
- aucune opération ne s'exécute sur le service ;
- le nœud maître répond ;
- son Firebird accepte les connexions ;
- l'hôte est le maître de l'époque actuelle, la base de données est en ligne.
Le service passe à ok si une réplique sur un autre hôte suit le maître. Sinon, il passe à degraded_no_replica : exécutez alors rejoin.
Turn to normal · promote to master
Promotion manuelle d'une réplique : étape par étape
Pour une base de données qui fait partie d'un service, utilisez le switchover et le failover : ils effectuent eux-mêmes toutes les étapes ci-dessous. Le parcours manuel reste pour les bases de données sans service. « Turn to normal » transforme la réplique en une base de données de travail distincte : pour des rapports, des tests ou une panne. « Promote to master » fait de la réplique le nouveau maître.
La promotion fonctionne pour une paire de nœuds compagnons : un nœud réplique et un nœud maître sur la même instance Firebird. Le fichier de base de données reste en place ; le contrôle passe au compagnon. Chaque étape est visible dans la ligne de la base de données. Si une étape a été interrompue, cliquez à nouveau sur le bouton : les étapes terminées ne sont pas répétées.
Connexions
Ce que RCM affiche
Pourquoi un nouveau GUID
Sans lui, le nouveau maître écrirait des segments sous le GUID de l'ancien maître, et ses répliques les refuseraient. Le nœud attribue un nouveau GUID à la base de données sur place, via nbackup, sans redémarrage de Firebird. Cela fonctionne sur 2.5, 3.0, 4.0 et 5.0.
Après un nouveau GUID, l'ancienne chaîne nbackup ne convient plus. Créez une nouvelle copie de niveau 0.
Switchover manuel sans service
- Arrêtez les écritures applicatives vers l'ancien maître.
- Attendez
IN_SYNCet une file vide. - Cliquez sur « Verify » : les nombres de lignes correspondent. Cela ne vérifie que les nombres de lignes.
- « Promote to master », attendez l'étape FINALIZE.
- Basculez les applications vers le nouveau maître.
- Créez une copie nbackup de niveau 0 et connectez une nouvelle réplique.
La promotion manuelle ne vérifie pas si des applications écrivent vers l'ancien maître, et ne réintègre pas l'ancien maître en tant que réplique. Arrêtez vous-même les écritures au préalable. Switchover effectue les deux étapes pour vous : il arrête les écritures et réintègre l'ancien maître.
Restart · parameters · certificates
Paramètres et sécurité
Firebird ne lit les paramètres de réplication qu'au démarrage. Il importe donc de savoir qui le redémarre et quand. La règle est simple : le Firebird du maître n'est jamais redémarré automatiquement. Il existe une exception : le switchover et le failover. Là, le redémarrage fait partie d'une opération lancée par l'opérateur, ou lancée par une règle activée par l'opérateur.
| Nœud | Qui redémarre Firebird |
|---|---|
| Maître | Vous uniquement. Le nœud maître ne redémarre pas Firebird de lui-même. |
| Réplique, le même Firebird héberge des bases de données maîtres | Vous. L'autorisation dans la fenêtre de copie permet au nœud uniquement d'arrêter Firebird pour remplacer ou supprimer l'ancien fichier de réplique. |
| Réplique, redémarrage automatique non autorisé | Vous. |
| Autres répliques | Le nœud, dans sa fenêtre de redémarrage. Une fois après une série de copies, pas après chaque base de données. |
Paramètres de réplication pour de nombreuses bases de données
Sélectionnez des bases de données : RCM les regroupe par version de Firebird et par rôle. Pour chaque paramètre, choisissez une action : conserver, définir, réinitialiser au niveau supérieur ou ne pas écrire. Vous voyez d'où vient la valeur actuelle : la base de données, le nœud ou Firebird.
Preview vérifie les valeurs sur les nœuds et ne modifie rien. Il indique aussi qui redémarrera Firebird et combien de bases de données cela concerne.
- Fenêtres horairesRedémarrage du maître que vous avez demandé : 22:00–05:00. Réplique : à tout moment. La promotion manuelle au rang de maître redémarre les deux serveurs Firebird à la fois, sans fenêtre. Le switchover redémarre un seul Firebird : sur le nouveau maître. Vitesse de copie complète : 23:00–05:00.
- Vitesse des segments50 Mo/s par défaut, pic court de 200 Mo. Modification immédiate, sans redémarrage.
- Déplacement du fichier de répliqueVers un autre sous-dossier sans nouvelle copie ; retour arrière en cas d'erreur.
- Réplique configurée manuellementVous pouvez la prendre sous gestion sans nouvelle copie. RCM fait correspondre les fichiers par GUID.
- Ligne de commandeLa copie, la vérification, la pause, la promotion et d'autres commandes RCM sont également disponibles dans
hqbirdrcm. Le switchover, le failover et la règle de service sont disponibles de trois manières : dans le navigateur, par commande et via l'API. - Rôle de lecteurUn utilisateur RCM disposant du rôle de lecteur voit tout et exécute des vérifications. Toute modification est interdite à cet utilisateur.
- 6 languesInterface RCM. Les instructions d'alerte sont en anglais.
Un document décrit le cluster
Les membres, leurs rôles et les liens maître → réplique sont définis sur la page Clusters dans HQ Monitor ou dans RCM. Le fbagent sur chaque hôte reçoit la description et installe et configure lui-même les nœuds. Sans HQCenter, RCM gère un cluster de 3 hôtes au maximum.
mTLS et certificats
Tous les canaux du cluster sont protégés par mTLS avec une AC partagée. La clé est créée sur l'hôte membre et ne le quitte jamais : seule la demande de certificat sort. Un certificat est valide 90 jours et se renouvelle 30 jours avant son expiration. Une nouvelle clé et une nouvelle AC sont émises sur commande d'un administrateur.
L'interface web RCM fonctionne en HTTPS sur le port 7444. L'agent ouvre ce port dans le pare-feu lorsque RCM est activé sur l'hôte. La connexion se fait avec un nom d'utilisateur et un mot de passe ; vous devez changer le premier mot de passe. Il se trouve dans le fichier rcm-initial-password sur l'hôte RCM et n'est pas affiché à l'écran. Après le changement de mot de passe, l'agent supprime ce fichier. La page de connexion affiche le hachage de l'AC du cluster : comparez-le avec la ligne « CA hash » dans le résumé de configuration sur l'hôte RCM. Chaque modification et chaque connexion sont consignées dans le journal d'audit.
Commandes · délais d'attente · ports · codes de refus
Référence
Commandes
| Tâche | Commande |
|---|---|
| Activer RCM sur un hôte | fbagent --cluster-init <id> |
| Ouvrir ou fermer la fenêtre d'appairage | fbagent --cluster-pairing on|off |
| Lier des hôtes | hqbirdrcm cluster link -hosts db1,db2 -master db1 |
| Jeton pour un hôte sans la fenêtre d'appairage | hqbirdrcm cluster join-token -note db2 |
| Quitter le cluster | fbagent --cluster-leave |
| Décrire un service | hqbirdrcm services put -id shop -file shop.json |
| Où se trouve le maître | hqbirdrcm where -service shop |
| Déplacement planifié du maître | hqbirdrcm switchover -service shop [-to db2] [-check] |
| Déplacement d'urgence | hqbirdrcm failover -service shop -accept-data-loss |
| Réintégrer l'ancien maître comme réplique | hqbirdrcm rejoin -service shop |
| Sortir de l'état d'échec | hqbirdrcm resume -service shop [-check] |
| Règle de basculement automatique | hqbirdrcm policy -service shop -auto-failover on|off |
| Progression et annulation d'une opération | hqbirdrcm operations show|cancel -id <id> |
Délais d'attente et intervalles
| Quoi | Par défaut | Comment modifier |
|---|---|---|
| Switchover : attendre la fin des connexions | 120 s, 900 s au maximum | -quiesce-timeout |
| Switchover : la réplique applique le dernier segment | 300 s | -apply-timeout |
| Switchover : la commande attend la fin de l'opération | 2 heures | -timeout |
| Failover : la réplique applique ce qu'elle a reçu | 60 s, 3600 s au maximum | -apply-timeout |
| Basculement automatique : le maître est silencieux | 90 s | -failover-delay |
| Basculement automatique : limite de retard | 30 s | -max-data-loss |
| Basculement automatique : pause entre deux | 1 heure | -min-interval |
| Vérification des conditions de basculement et de l'isolement de l'ancien maître | toutes les 10 s | non modifiable |
| Firebird bloqué : sonde de connexion | une fois par minute, limite 10 s | non modifiable |
| Routeur : interrogation du nœud maître | toutes les 2 s | non modifiable |
| Fenêtre d'appairage, jeton de jonction | 24 heures | fenêtre : nombre d'heures dans la requête |
| Lier des hôtes : certificat de l'agent, démarrage du nœud | jusqu'à 10 minutes, jusqu'à 20 minutes | non modifiable |
Ports
| Port | Usage |
|---|---|
7443 | RCM : nœuds, agents et routeurs, mTLS. |
7444 | RCM : interface web et commandes opérateur, HTTPS. |
7450–7459 | Fenêtre d'appairage de l'agent : 7450 + slot. |
7051–7060 | Premier nœud de l'agent : 7051 + slot. |
7061–7070 | Second nœud de l'agent : 7061 + slot. |
router_port | Port de service sur le routeur, par exemple 3051. |
Codes de refus
| Code | Signification |
|---|---|
not_in_sync | La réplique cible est en retard : le switchover ne démarre pas. |
busy | Une copie de base de données ou une promotion s'exécute sur les nœuds. |
service_busy | Une opération s'exécute déjà sur le service. |
master_reachable | Le maître répond : le failover n'est pas nécessaire. |
replica_unusable | La réplique n'a pas de copie de base de données utilisable. |
data_loss_not_accepted | Failover sans le commutateur -accept-data-loss. |
past_no_return | Annulation après le point de non-retour. |
no_witnesses | Basculement automatique sans routeurs. |
node_port_clash | Un autre membre de l'hôte utilise le port du nœud. |
seats_exceeded | Le cluster compte déjà 3 hôtes. |
L'essentiel en bref
Questions fréquentes
Quelle est la différence entre switchover et failover ?
Le switchover est planifié : les deux hôtes fonctionnent, aucune donnée n'est perdue, l'ancien maître revient de lui-même comme réplique. Le failover est une urgence : l'hôte maître est perdu, ce que le maître n'a pas envoyé est perdu, et vous réintégrez l'ancien maître avec une commande distincte.
Que voit l'application pendant un switchover ?
Les connexions à l'ancien maître se ferment lorsque RCM arrête les écritures. Tant que la réplique n'est pas devenue le maître, il n'y a nulle part où écrire. Après la nouvelle époque, l'application se reconnecte : à la même adresse de routeur ou à l'adresse du nouveau maître.
Combien de temps prend un switchover ?
La pause d'écriture comporte trois parties : l'attente de la fin des connexions (jusqu'à 120 secondes par défaut), la récupération du dernier segment et un redémarrage de Firebird sur le nouveau maître. La réintégration de l'ancien maître s'exécute ensuite, en arrière-plan. Sa durée est celle de la copie de la base de données.
Puis-je travailler sans routeur ?
Oui. Le switchover et le failover manuel fonctionnent sans routeurs. L'application obtient alors l'adresse du maître auprès de RCM lui-même. Le basculement automatique ne s'active pas sans routeurs : les routeurs en sont les témoins.
Combien de données un basculement automatique peut-il perdre ?
La règle ne démarre pas si la réplique est en retard de plus de 30 secondes. Mais les segments que le maître a écrits et n'a pas envoyés sont perdus. Le rapport de l'opération en indique le nombre. Le fichier de base de données ancien est conservé : ces modifications y restent, ainsi que dans l'archive de l'ancien maître.
Le service est dans l'état d'échec. Que faire ?
Consultez la raison sur la page Services. Si le Firebird du maître est bloqué, redémarrez-le. Ensuite, hqbirdrcm resume -service <id> -check indique ce qui bloque le service, et resume sans le commutateur remet le service au travail.
De combien d'espace la réintégration de l'ancien maître a-t-elle besoin ?
La réintégration est une nouvelle copie de la base de données. Les mêmes règles s'appliquent que pour toute copie : 105 % de la taille de la base de données. Après un failover, l'ancien fichier reste à côté du nouveau, donc l'ancien hôte a besoin d'espace pour les deux fichiers.
Cela fonctionne-t-il sous Windows ?
Les nœuds et RCM fonctionnent sous Windows et Linux. Le routeur fonctionne uniquement sous Linux.