HQbird Cluster: cluster a replikace
Cluster a replikace HQbird Cluster
Master zapisuje změny do segmentů a odesílá je replikám přes zabezpečený kanál. Uzel sám vytvoří kopii databáze pro novou repliku prostřednictvím nbackup, zatímco uživatelé dál pracují. Správce clusteru (RCM) zobrazuje zpoždění, fronty a chyby všech uzlů. Přesouvá také master na jiný hostitel: jako plánované přesunutí bez ztráty dat, nebo jako nouzové přesunutí, když je hostitel masteru ztracen.
- Firebird 2.5 · 3 · 4 · 5
- nbackup kopie bez zastavení masteru
- switchover bez ztráty dat
- failover ručně nebo podle pravidla
- router připojovací řetězec se nemění
- mTLS na všech kanálech
Uzly · RCM · uspořádání
Jak cluster funguje
Uzel běží vedle každého Firebird. Uzel má jednu roli: master nebo replika. Uzel masteru odesílá segmenty, uzel repliky je přijímá a Firebird repliky je aplikuje na svou kopii databáze.
Na cluster existuje jeden RCM. Běží na libovolném hostiteli, který dosáhne na všechny uzly. Uzly mu posílají statistiky a on jim předává příkazy operátora. RCM propojuje master a repliku podle GUID databáze, nikoli podle názvu uzlu.
RCM se sám neinstaluje. Zapnete ho na jednom hostiteli, když potřebujete cluster. Před aplikace můžete umístit router: vždy je odešle na aktuální master.
| Komponenta | Kolik | Co dělá |
|---|---|---|
| Firebird (HQbird) | na každém databázovém serveru | Uchovává databáze a zapisuje replikační segmenty. |
| fbagent | jeden na instanci Firebird | Zastavuje a spouští Firebird, když o to uzel požádá. |
| hqclusternode | jeden na instanci a roli | Nastavuje replikaci, odesílá segmenty, vytváří kopii databáze pro repliku. |
| hqbirdrcm (RCM) | jeden na cluster | Webové rozhraní, příkazy, upozornění, statistiky. Provádí switchover a failover. |
| Router (hqclusternode router) | volitelný, na hostiteli aplikace, Linux | Udržuje HAProxy nasměrovaný na master každé služby. Aplikace se připojují k routeru. |
- Stejná hlavní verze5.0 na masteru, 5.0 na replice. Jinak replika odmítne ještě před přenosem dat.
- HQbird 2.5 a 3.0Replikace přes plugin replconf. Filtry definují množinu tabulek.
- Vlastní složka pro každý masterReplika ukládá databázi do složky pojmenované podle uzlu masteru. Databáze se stejným názvem z různých masterů si nekonkurují.
- Bez fbagent žádné změnyPokud fbagent není k dispozici, uzel odmítne jakoukoli akci, která mění konfiguraci. Nefunguje „částečně“.
- Uzel bez RCMUzel může pracovat samostatně. RCM je potřeba pro přehled a příkazy.
- Komprese kanáluPro pomalou síť: zstd pro každý peer, účinné okamžitě.
- Až 3 hostitelé bez HQCenterKaždý hostitel s masterem nebo replikou zabírá místo v clusteru. RCM nepřijme čtvrtého hostitele.
RCM · párovací okno · Link hosts · sloty
Jak sestavit cluster
Instalace HQbird umístí clusterové programy na každý server, ale nezapne je. RCM a párovací okno jsou ve výchozím stavu vypnuté. Cluster sestavíte ve třech krocích: zapnete RCM na jednom hostiteli, otevřete párovací okno na ostatních hostitelích a propojíte hostitele jediným tlačítkem.
- 1Zapněte RCMna jednom hostiteli: v HQ Monitor nebo pomocí
fbagent --cluster-init - 2Otevřete párovací oknona ostatních hostitelích, na 24 hodin
- 3Propojte hostiteleRCM najde agenty, vydá certifikáty a spustí uzly
Krok 1. RCM na jednom hostiteli
V HQ Monitor otevřete sekci „Cluster on this server“ a zapněte RCM. Totéž provede příkaz na hostiteli. Agent vytvoří CA clusteru, certifikát RCM a prvního uživatele. V firewallu se otevřou porty 7443 a 7444.
fbagent --cluster-init <id>
Během instalace totéž provede přepínač --rcm on (Linux) nebo /RCM (Windows).
Krok 2. Párovací okno
Na každém hostiteli, který se připojí ke clusteru, agent otevře párovací port na 24 hodin. Port se sám zavře, když okno skončí nebo když se agent připojil ke clusteru.
fbagent --cluster-pairing on
Totéž provede tlačítko v HQ Monitor. Během instalace: --cluster-pairing on nebo /DISCOVERY.
Krok 3. Propojení hostitelů
V RCM otevřete Settings → Link hosts a zadejte hostitele, jeden na řádek. Tlačítko Check hosts čte porty 7450–7459 každého hostitele. Každý agent, který odpověděl, je jeden řádek tabulky.
- Řádek zobrazuje: port, instanci, verzi a port Firebird, port uzlu, otisk certifikátu.
- Vyberte řádky zaškrtávacími políčky a zvolte master. Řádek s chybou neblokuje ostatní řádky.
- Link vydá každému agentovi certifikát, vytvoří členy a propojení master → replika.
- RCM čeká až 10 minut na certifikát agenta a až 20 minut na spuštění uzlů.
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1
Porovnejte otisk v řádku s tím, který agent zobrazil na svém hostiteli. Tak budete vědět, že propojujete správný server.
- Několik agentů na jednom hostiteliKaždý agent má vlastní slot od 0 do 9. Párovací port 7450 + slot, porty uzlů 7051 + slot a 7061 + slot. Instalace zvolí slot; přepínač
--pairing-portjej nastaví explicitně. - Add memberStránka Cluster navrhne volný port uzlu a odmítne port, který používá jiný člen tohoto hostitele.
- Názvy členů
<host name>-mastera<host name>-replica. RCM člena nepřejmenovává: nový název je nový člen. - Bez párovacího oknaRCM vydá token pro jednoho agenta, na 24 hodin. Na novém hostiteli:
fbagent --cluster-joins tímto tokenem a hashem CA.
- Vlastník RCMAgent, který zapnul RCM na hostiteli. Druhý agent na tomto hostiteli dostane odmítnutí. Pokud je vlastník odstraněn,
fbagent --cluster-init --rcm-takeoverpřesune RCM na jiného agenta. Cluster získá novou CA a členy musíte propojit znovu. - Opouštění clusteru
fbagent --cluster-leavezastaví uzly, zavře jejich porty a smaže certifikáty clusteru. Složky uzlů zůstanou;--remove-dataje smaže. Agent odejde sám, pokud jej RCM odvolal nebo odstranil jeho posledního člena. - FirewallAgent sám otevírá a zavírá své clusterové porty. Nezavře port, který byl otevřený před ním.
- Odinstalace HQbirdVlastník RCM není odstraněn, dokud jeho RCM používají jiní agenti. Průvodce instalací se zeptá; tichý režim vyžaduje
--forcenebo/FORCE.
Stránka Clusters v místním HQ Monitor funguje prostřednictvím agenta na hostiteli RCM. Nepotřebuje heslo RCM. Sekci „Cluster on this server“ vidí pouze administrátor.
Inicializace · reinit
Nová replika bez zastavení masteru
Replika získává databázi pouze z masteru. Master uzel zmrazí soubor pomocí nbackup -L, odešle jej po částech a zámek okamžitě odstraní. Uživatelé masteru pracují celou dobu: jejich změny se zapisují do .delta a později se vracejí do databáze.
gbak ani ruční kopírování souboru zde nefunguje. gbak mění GUID databáze a přerušuje propojení master–replika. Kopie souboru běžící databáze není konzistentní.
Uživatelé masteru
Soubory
- Ztráta spojeníPřenos pokračuje od poslední přijaté části. Nedokončená kopie zůstává na replice 24 hodin.
- ChybaUzel odstraní zámek, smaže nedokončený soubor a nastaví databázi na FAILED. Další pokus začíná ze známého stavu.
- Transakce během zámkuNejsou ztraceny. Firebird 4 a 5: uzel najde transakce otevřené v okamžiku
nbackup -La replika je zopakuje ze segmentů. HQbird 2.5 a 3.0: uzel počká na ukončení takových transakcí (přibližně minutu), jinak se kopie nespustí.
- Jedna databáze najednouMaster uzel ve výchozím nastavení kopíruje jednu databázi. Ostatní čekají ve frontě.
- Ostatní repliky této databázeBěhem kopírování nedostávají segmenty této databáze. Později je doženou.
- Automatická reinicializaceRCM může databázi ve stavu NEEDS_REINIT znovu zkopírovat sama, pouze v nastaveném časovém okně. Ve výchozím nastavení vypnuto.
Šetrný režim čeká na dlouhé transakce
Před uzamčením uzel hledá zapisovací transakce, které začaly před nejstarším segmentem v archivu masteru. Pokud je archiv prázdný (první kopie), limitem je okamžik, kdy uzel zapnul publikaci. Replika takové transakce nemůže zopakovat a zastavila by se. Kopie se proto nespustí, dokud jsou takové transakce otevřené.
RCM zobrazuje pět spojení s nejstaršími transakcemi: uživatel, klient, stáří, aktuální dotaz. Můžete je odpojit a kopii okamžitě zopakovat. Zatímco kopie čeká, archiv masteru se nečistí, ale maximálně po dobu 1000 segmentů. Poté čištění pokračuje a RCM vyvolá upozornění.
Normální režim uzamkne databázi okamžitě, bez kontroly.
Místo a rychlost
| Kde | Co je potřeba |
|---|---|
| Master, svazek databáze | Alespoň 105 % velikosti databáze volného místa. .delta během kopírování roste. |
| Replika, svazek databáze | 105 % plus rezerva svazku free_space_floor_gb (ve výchozím nastavení 1 GB). Uzel rezervuje plnou velikost předem; druhá kopie není potřeba. Při opakované kopii zůstává starý soubor až do konce. Pokud není místo pro oba soubory, zaškrtávací políčko „Odstranit starou repliku“ smaže starý soubor před přenosem. |
| Noční rychlost | V přenosovém okně (ve výchozím nastavení 23:00–05:00) je konstantní, ve výchozím nastavení 100 MB/s. |
| Denní rychlost | Podíl naměřené rychlosti disku, ve výchozím nastavení polovina. Kopie spuštěná ve dne se v noci sama zrychlí. |
Místo se kontroluje dvakrát a pouze před uzamčením: nejprve RCM ze statistik, poté uzly živým měřením na obou stranách. Kontrolu uzlů nelze přeskočit: chrání disk před zaplněním uprostřed kopírování.
Firebird 4 a 5 · HQbird 2.5 a 3.0
Publikace: které tabulky jdou na repliku
Firebird 4 a 5 zapisují do segmentů pouze změny publikovaných tabulek, a to jen když je publikace zapnutá. Bez ní se změny na repliku nedostanou. Uzel to zjistí a vyvolá upozornění. Tlačítko „Synchronizovat publikaci“ ji zapne a sestaví správný seznam tabulek.
Co synchronizace dělá
- zapne publikaci, pokud ji operátor záměrně nevypnul;
- přidá všechny tabulky s primárním klíčem nebo jedinečným indexem;
- odebere tabulky bez klíče a tabulky, které operátor vyloučil;
- vypne automatické přidávání nových tabulek.
Bez klíče nemůže replika najít řádek pro UPDATE a DELETE. Takovou tabulku proto nelze publikovat: přidejte klíč a synchronizujte znovu.
- Hodinová kontrolaPokud je publikace vypnutá, uzel ji kontroluje každé 2 minuty. U databáze s replikou je to upozornění.
- Seznam vyloučeníUložen na master uzlu. Když je replika povýšena na master, seznam se přesune na nový master.
- Nová tabulkaNepřipojí se k publikaci sama. Vytvořte klíč a klikněte na „Synchronizovat publikaci“.
- Kopie bez publikaceMaster uzel odmítne databázi zkopírovat, pokud je publikace vypnutá nebo nemá žádné tabulky (
publication_off). Okno inicializace nabízí „Synchronizovat publikaci a inicializovat“. - HQbird 2.5 a 3.0Žádné publikace. Množinu tabulek definují filtry zahrnutí a vyloučení v nastavení replikace.
Změny provedené, když byla publikace vypnutá nebo byla tabulka vyloučena, se na repliku nedostanou, ani po jejím zapnutí. „Verify“ porovnává pouze počty řádků; nezjistí ztracené UPDATE. Pokud do databáze probíhaly zápisy, když byla publikace vypnutá, zkopírujte databázi znovu.
Zpoždění · archiv · upozornění · kontrola dat
Monitorování: replika nezůstane pozadu tiše
Uzly posílají statistiky do RCM každých 30 sekund. Pro každou dvojici master–replika vidíte: poslední segment, kolik jich bylo odesláno, potvrzeno a aplikováno, frontu a zpoždění v sekundách.
| Stav databáze | Skupina v RCM | Význam |
|---|---|---|
IN_SYNC | Ok | Replika dostala všechny segmenty. |
LAGGING | Pending | Replika zaostává, segmenty jsou ve frontě. |
SEEDING | Pending | Databáze se kopíruje na repliku. |
NEEDS_REINIT | Error | Repliku je nutné znovu zkopírovat. |
FAILED | Error | Poslední kopie selhala. |
Archiv masteru se čistí po stupních
Master uchovává odeslané segmenty, aby si je replika mohla znovu vyžádat. Pokud je málo místa, nejprve smaže to, co jistě není potřeba.
- 1Aplikováno všemi, starší než limitvýchozí limit jsou 2 dny
- 2Aplikováno, ale novější než limitpokud je volných méně než 1 GB; upozornění
- 3Dosud neaplikovánojako poslední krok; replika potřebuje novou kopii
Upozornění s pokyny
RCM zná více než 20 typů upozornění a každé má pokyn, co dělat. Upozornění můžete potvrdit, ztlumit na 60 minut nebo smazat. Pokud příčina přetrvává, upozornění se objeví znovu.
Neexistuje e-mail ani webhook: sledujte stránku „Alerts“ nebo dotazujte API RCM.
| Kód | Co se stalo |
|---|---|
backlog_warn / backlog_critical | Master má 32 / 48 nearchivovaných segmentů. |
apply_error, replication_stopped | Replika nemůže aplikovat segment. |
replication_guid_mismatch | GUID databáze masteru se změnil: obnova nebo nahrazení souboru. |
segment_missing, sequence_gap | Posloupnost segmentů je přerušena. |
firebird_down, firebird_log_error | Firebird je mimo provoz nebo zapisuje chyby. |
firebird_not_answering | Port Firebirdu je otevřený, ale připojení k databázi selhává již minutu. |
master_publication_off | Publikace je vypnuta pro databázi s replikou. |
data_mismatch | Periodická kontrola dat našla rozdíl. Kontrola dat se zapíná samostatně. |
Porovnání masteru a repliky
Verify spočítá řádky vybraných tabulek na masteru a na replice a porovná je. Ne porovnává obsah řádků: neodhalí změněné řádky. Spouštějte ji v klidném období: při aktivních zápisech se mohou počty lišit.
Periodická kontrola je ve výchozím nastavení vypnutá: COUNT(*) čte celou tabulku. Zapněte ji parametrem uzlu data_check_enabled; spouští se jednou za 2 hodiny. Nová nastavení kontroly platí okamžitě, bez restartu uzlu. Kontrola porovnává data, když jsou master a replika na stejném segmentu. Rozdíl vyvolá upozornění. Tabulka vyloučená z publikace se zobrazí jako „nepublikováno“, nikoli jako chyba.
- Pozastavit přenosPro jednu nebo mnoho databází. Po „Resume“ přenos pokračuje od posledního segmentu, bez nové kopie. Archiv mezitím roste.
- Logy vzdálených uzlůreplication.log, firebird.log a log uzlu přímo v RCM, bez přihlašování na server.
- Bez licenceMaster přestane přenášet; Firebird a databáze dál fungují. Po instalaci licence se přenos sám obnoví během minuty.
- Log příkazůKaždý příkaz RCM je zaznamenán s autorem a výsledkem. Zpráva o clusteru v jednom souboru JSON.
Služba · epocha · kde je master
Služby: jedna databáze na několika hostitelích
Služba je jedna logická databáze na několika hostitelích. Master se může přesouvat z hostitele na hostitele, ale název služby a alias databáze se nemění. Aplikace a routery se RCM ptají, kde je nyní master služby.
Každá změna masteru dostane další číslo: epochu. RCM uchovává historii epoch: kdy se master změnil a proč. RCM najde službu podle uzlu a cesty k souboru, nikoli podle GUID: při switchoveru se GUID databáze změní, ale cesta zůstává stejná.
Co služba popisuje
- alias: název databáze v
databases.conf. Nový master si jej zapíše sám. - members: jeden záznam na hostitele: uzel masteru, uzel repliky, cesta k souboru, priorita.
- router_port: port, na kterém routery přijímají aplikace této služby.
- policy: pravidla automatického failoveru a režim, který uzavře starý master.
Každý hostitel služby provozuje dva uzly na jednom Firebirdu: uzel masteru a uzel repliky. Jde o stejné uspořádání „Dva uzly na hostitele“ jako v diagramu výše.
Uzel masteru potřebuje adresu Firebirdu pro klienty: parametr advertise_addr. Bez něj RCM nemůže aplikaci sdělit, kam se má připojit.
Kde je master nyní
hqbirdrcm services put -id shop -file shop.json hqbirdrcm services hqbirdrcm where -service shop hqbirdrcm where -db shop
where odpovídá: hostitel a adresa masteru, číslo epochy, repliky a nalezené problémy. Prostřednictvím API může aplikace čekat na novou epochu, aniž by každou sekundu dotazovala RCM.
Stránka Services v RCM zobrazuje totéž pro každou službu: stav, epochu, master, adresu Firebirdu, repliky a problémy. Pole Find najde databázi podle aliasu, názvu služby, GUID nebo cesty.
Služby v prohlížeči
Vše, co příkazy hqbirdrcm dělají pro služby, je také ve webovém rozhraní RCM. Příkazovou řádku k tomu nepotřebujete.
- Stránka službyStav a jeho důvod, master, repliky se zpožděním, hostitelé a jejich role, routery, staří masteři čekající na uzavření, pravidlo automatického failoveru, probíhající operace krok za krokem a historie masterů.
- Tlačítka akcíSwitchover, Failover, Rejoin, Resume. Každé tlačítko nejprve spustí kontrolu a zobrazí problémy. Akce začne až po potvrzení. Druhé kliknutí nespustí druhou operaci.
- Formulář službyTlačítko New service vytvoří službu: název, alias, port routeru a jeden řádek pro každého hostitele. Formulář nabízí uzly a databáze, které vidí. Check zkontroluje formulář, Save nejprve zobrazí seznam změn.
- OperaceStránka se všemi switchover, failover a rejoin operacemi, nejnovější první. Zatímco operace běží, záhlaví každé stránky má štítek s odkazem na ni.
- Smazání službySmaže se pouze záznam v RCM. Dialog sdělí, co zůstane (databáze, replikace, role uzlů, alias) a co se ztratí (historie, pravidlo, port na routerech), a požádá vás o napsání názvu služby.
- Role prohlížejícíhoUživatel s touto rolí vidí všechny stránky a spouští kontroly, ale nemá tlačítka akcí.
| Stav služby | Význam | Co dělat |
|---|---|---|
ok | Master funguje, replika na jiném hostiteli jej následuje. | Nic. |
rejoining | Starý master se vrací jako replika. | Počkejte: databáze se kopíruje. |
degraded_no_replica | Master funguje, neexistuje replika. To se stane po failoveru nebo po chybě rejoin. | hqbirdrcm rejoin |
failed | RCM nemůže zjistit stav nebo Firebird masteru neodpovídá. | hqbirdrcm resume po kontrole |
Služba ve stavu failed nezahájí switchover ani automatický failover. Z tohoto stavu ji může dostat pouze operátor: příkazem resume, pomocí rejoin nebo ručním failoverem.
Plánovaný přesun masteru · bez ztráty dat
Switchover: master se přesune na jiného hostitele
Switchover přesune master služby na jiného hostitele bez ztráty dat. RCM sám zastaví zápisy na starém masteru, počká, až replika aplikuje poslední segment, a učiní ji masterem. Poté se starý master vrátí do clusteru jako replika nového masteru na stejné cestě.
Potřebujete jej pro plánované práce: aktualizace OS, výměna disku, přesun zátěže na jiný server. Nejprve kontrola, poté spuštění:
hqbirdrcm switchover -service shop -check # pouze kontrola, nic nemění hqbirdrcm switchover -service shop -to db2 # přesunout master na db2
Příkaz provede operaci až do konce a vypíše každý krok. Návratový kód 0 znamená úspěch. Tlačítko Switchover na stránce služby v RCM dělá totéž: nejprve kontrola, poté potvrzení, poté kroky operace na obrazovce.
Aplikace
Hostitelé a služba
Co RCM zkontroluje před spuštěním
- Služba je ve stavu
ok, master je znám. - Cílová replika je ve stavu
IN_SYNC. - Všechny čtyři uzly obou hostitelů odpovídají.
- Cílová replika není pozastavena kvůli licenci.
- Na těchto uzlech neběží kopie databáze ani povýšení.
Pokud je něco v pořádku, RCM odmítne a uvede důvod jako kód. Do tohoto okamžiku se nic nezměnilo.
Pokud se něco pokazí
- Před bodem bez návratu. Chyba, časový limit nebo zrušení vrátí starý master do provozu. Služba zůstane
okna starém hostiteli. Pokud se starý master nevrátí do provozu, služba získá stavfailed: uveďte databázi do provozu pomocígfix -online normala spusťteresume. - Po bodu bez návratu. Nelze zrušit. Chyba nastaví službu na
failed. - Chyba během rejoin. Nový master funguje, neexistuje replika:
degraded_no_replica. Spusťtehqbirdrcm rejoin -service shop.
hqbirdrcm operations show -id <id> hqbirdrcm operations cancel -id <id>
V prohlížeči je to stránka Operations a tlačítko Cancel na stránce služby.
- Zastavení zápisůStarý master přejde do úplného vypnutí. Uzel čeká, dokud neskončí připojení: ve výchozím nastavení 120 sekund, maximálně 900. Přepínač
-force Npřeruší připojení po N sekundách. - DoháněníRCM každou sekundu žádá repliku, zda aplikovala poslední segment. Výchozí limit je 300 sekund.
- Jeden restart FirebirdNa novém masteru, bez čekání na okno. Během opětovného připojení se Firebird starého hostitele restartuje pouze tehdy, pokud to uzel repliky potřebuje.
- Opětovné připojení je kopie databázeNový master zkopíruje databázi na starý hostitel prostřednictvím nbackup. U velké databáze to trvá dlouho, proto příkaz čeká na operaci až 2 hodiny.
- Restart RCMKaždý krok se zapíše na disk před voláním uzlu. Po restartu RCM pokračuje v operaci od aktuálního kroku.
- Zámek službyZatímco probíhá switchover nebo opětovné připojení, RCM odmítá další změny na těchto uzlech: nastavení, restart Firebird, kopírování, pozastavení přenosu.
Připojení ke starému masteru se uzavřou v kroku zastavení zápisů. Aplikace se musí připojit znovu. S routerem zůstává připojovací řetězec stejný. Bez routeru aplikace přejde na adresu nového masteru: hqbirdrcm where -service shop ji poskytne.
HAProxy · Linux · jeden připojovací řetězec
Routers: aplikace si zachovají stejnou adresu
Router běží na hostiteli aplikace a udržuje HAProxy nasměrovaný na master každé služby. Aplikace se připojují k <router host>:<service port>. Po switchoveru nebo failoveru zůstává připojovací řetězec stejný.
Jak router volí hostitele
- Získá tabulku služeb z RCM: epochu, hostitele masteru, adresy Firebird.
- Každé 2 sekundy se ptá uzlu masteru: „jsi master této epochy a je databáze online?“
- Odpověď „ano“: hostitel přijímá připojení.
- Odpověď „ne“: žádná nová připojení, otevřená připojení zůstávají.
- Nová epocha: relace starého masteru se okamžitě uzavřou.
Pokud RCM není dostupné, router pracuje s poslední tabulkou. Router ji uchovává na svém disku.
Jak přidat router
Router je člen clusteru s rolí router. Přidejte ho na stránce Cluster, stejně jako master nebo repliku. fbagent na tomto hostiteli získá certifikát, zapíše konfiguraci a zaregistruje službu. Na hostiteli musí být nainstalován HAProxy.
router_port v popisu služby nastavuje port služby. Můžete mít několik routerů: jeden na každém hostiteli aplikace.
Stránka Settings → Routers v RCM zobrazuje routery a jejich hlášení: kterou epochu router aplikoval a na kterého hostitele vede.
- Připojení se přerušíKdyž se master změní, otevřená připojení se uzavřou. Aplikace se musí připojit znovu, na stejnou adresu.
- Adresa klientaFirebird vidí adresu HAProxy, nikoli adresu aplikace. Přístupová pravidla podle IP klienta za routerem nefungují.
- Pouze LinuxRouter funguje na Linuxu. Databázové servery mohou být na Windows a Linuxu.
- WitnessesRouters sdělují RCM, zda dosáhnou na port Firebird masteru. Bez nich se automatický failover nezapne.
Hostitel masteru ztracen · ručně nebo podle pravidla
Failover: replika převezme roli masteru
Failover potřebujete, když hostitel masteru neodpovídá. Replika se stane masterem se segmenty, které obdržela. Co master neodeslal, je ztraceno. Operátor tedy musí ztrátu výslovně přijmout.
hqbirdrcm failover -service shop -check # what will be lost hqbirdrcm failover -service shop -to db2 -accept-data-loss # start
Bez přepínače -accept-data-loss příkaz pouze zkontroluje a zobrazí odhad ztráty: poslední segment masteru, kolik segmentů replika obdržela a aplikovala a kolik segmentů se ztratí přinejmenším.
V prohlížeči je to tlačítko Failover na stránce služby. Operaci spustí pouze tehdy, když operátor zaškrtl políčko o ztrátě dat a napsal název služby.
- 1Kontrolamaster neodpovídá, replika má použitelnou kopii
- 2Doháněníreplika aplikuje vše, co obdržela; limit 60 s
- 3Povýšeníbod, odkud není návratu: nový GUID, restart Firebird
- 4Nová epochareplika je master; starý master čeká na uzavření
- Master stále odpovídáRCM odmítne:
master_reachable. Proveďte switchover, nebo nejprve zastavte uzel masteru. - Replika se zpožděnímStav
LAGGINGje přijímán. Replika, která potřebuje novou kopii, není vhodná. - Několik replikVe výchozím nastavení RCM vezme tu, která aplikovala více segmentů, poté tu s vyšší prioritou.
- Po failoveruSlužba je ve stavu
degraded_no_replica: master funguje, replika není. Opětovné připojení není možné, dokud starý hostitel opět neběží. - Služba ve stavu failedRuční failover funguje i pro ni. To je východisko, když Firebird masteru zamrzne a nemůžete ho rychle restartovat.
- Vyloučené tabulkyRCM vezme jejich seznam z repliky nebo z posledních statistik starého masteru. Pokud seznam není, nastavte tabulky na stránce publikace nového masteru.
- Limit doháněníPřepínač
-apply-timeout, ve výchozím nastavení 60 sekund, maximálně 3600.
Automatický failover volitelné
RCM může failover spustit sám. Ve výchozím nastavení je to vypnuto. Pravidlo zapnete pro každou službu zvlášť: na stránce služby v prohlížeči nebo příkazem.
hqbirdrcm policy -service shop # show the rule
hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30
RCM kontroluje podmínky každých 10 sekund a failover spustí pouze tehdy, když jsou splněny všechny.
| Podmínka | Proč |
|---|---|
| Uzel masteru mlčí 90 sekund | Master neposílá statistiky. |
| Přímé volání z RCM na uzel masteru selže (5 sekund) | Nejde jen o opožděné statistiky. |
| Více než polovina routerů nedosáhne na port Firebird masteru | Ani aplikace se nemohou připojit. |
| Uzel repliky neviděl master 90 sekund | Třetí svědek. |
| Zpoždění repliky je 30 sekund nebo méně | Limit ztráty dat. |
| Od posledního automatického failoveru uplynula jedna hodina | Master nepřeskakuje mezi hostiteli. |
| RCM běží déle než 90 sekund | Po restartu nemá RCM čerstvá data. |
Služba je ok, na uzlech neběží kopírování ani povýšení | Žádný konflikt s běžící prací. |
- Jsou potřeba routeryPravidlo potřebuje oba routery a port služby. Pokud jeden z nich chybí, pravidlo se nezapne:
no_witnesses. Umístěte routery tak, aby většina z nich nebyla na master hostiteli. - JednouPo automatickém failoveru se pravidlo samo vypne. Znovu ho zapne pouze operátor.
- Proč se nespustiloRCM uchovává důvod čekání společně s pravidlem služby a každý nový důvod jednou zapíše do svého logu.
- LogOperace běží jako
system:autofailover. První záznam říká, co witnessové viděli.
Třicetisekundový limit pokrývá pouze frontu, kterou replika přijala a ještě neaplikovala. Segmenty, které master zapsal, ale neodeslal, v něm nejsou. Jejich počet ukazuje zpráva o operaci.
Fence · rejoin · zaseknutý master · resume
Opětovné připojení a obnova
Po failoveru má cluster dva soubory, které byly masterem. Musíte starý uzavřít, aby nepřijímal zápisy, a vrátit ho zpět jako repliku. První udělá RCM sám, druhé na příkaz operátora.
Uzavření starého masteru (fence)
RCM se snaží starý master uzavřít každých 10 sekund. Když jeho uzel odpoví, dostane roli „closed“ a přestane odesílat segmenty. Každý fence se zapíše do audit logu.
- Režim
route(výchozí). Databáze starého masteru zůstává online. Routery ji už nepoužívají. - Režim
shutdown. RCM nejprve zastaví databázi. Připojení se uzavřou po 5 sekundách.
hqbirdrcm policy -service shop -fence-mode shutdown
Vrácení starého masteru (rejoin)
Když starý hostitel opět funguje, spusťte rejoin. RCM nejprve uzavře starý master, pokud se tak ještě nestalo. Poté nový master zkopíruje svou databázi na starého hostitele, na stejnou cestu.
hqbirdrcm rejoin -service shop
Starý soubor se nesmaže. Zůstane vedle nového jako <name>.pre-reinit-<time>.fdb. Tento soubor a archiv starého masteru obsahují změny, které nový master nemá.
V režimu route mohou aplikace, které se připojují přímo ke starému hostiteli, nikoli přes router, stále zapisovat do staré databáze. Tyto změny se k novému masteru nedostanou. Pokud některé aplikace pracují bez routeru, zapněte režim shutdown.
Zaseknutý master
Firebird se může zaseknout tak, že port je otevřený, ale k databázi se nelze připojit. Kontrola portu to nezjistí. Proto se uzel sám každou minutu připojuje k databázi s limitem 10 sekund.
- Jedna minuta bez odpovědi: vážné upozornění
firebird_not_answering. - RCM nastaví službu na
faileda zapíše důvod: uzel, hostitel, čas. - V tomto stavu se automatický failover nespustí.
Co dělat: uložte zásobníky vláken Firebirdu a firebird.log, restartujte Firebird na master hostiteli a poté spusťte resume. Pokud nemůžete rychle restartovat, zastavte master uzel a spusťte failover.
Opuštění stavu failed
hqbirdrcm resume -service shop -check hqbirdrcm resume -service shop
RCM se přímo dotáže master uzlu a zkontroluje:
- na službě neběží žádná operace;
- master uzel odpovídá;
- jeho Firebird přijímá připojení;
- hostitel je masterem aktuální epochy, databáze je online.
Služba přejde do ok, pokud master následuje replika na jiném hostiteli. Jinak přejde do degraded_no_replica: pak spusťte rejoin.
Převod na normální · povýšení na master
Ruční povýšení repliky: krok za krokem
Pro databázi, která je součástí služby, použijte switchover a failover: samy provedou všechny níže uvedené kroky. Ruční postup zůstává pro databáze bez služby. „Převod na normální“ udělá z repliky samostatnou pracovní databázi: pro reporty, testy nebo selhání. „Povýšení na master“ udělá z repliky nový master.
Povýšení funguje pro pár companion uzlů: uzel repliky a master uzel na stejné instanci Firebirdu. Soubor databáze zůstává na místě; řízení přechází na companion. Každý krok je viditelný v řádku databáze. Pokud byl krok přerušen, klikněte na tlačítko znovu: dokončené kroky se neopakují.
Připojení
Co RCM zobrazuje
Proč nový GUID
Bez něj by nový master zapisoval segmenty pod GUID starého masteru a jeho repliky by je odmítly. Uzel přidělí databázi nový GUID na místě, prostřednictvím nbackup, bez restartu Firebirdu. Funguje to na 2.5, 3.0, 4.0 a 5.0.
Po novém GUID už starý řetězec nbackup nevyhovuje. Vytvořte novou kopii úrovně 0.
Ruční switchover bez služby
- Zastavte zápisy aplikací do starého masteru.
- Počkejte na
IN_SYNCa prázdnou frontu. - Klikněte na „Verify“: počty řádků odpovídají. Kontrolují se pouze počty řádků.
- „Povýšit na master“, počkejte na krok FINALIZE.
- Přepněte aplikace na nový master.
- Vytvořte kopii nbackup úrovně 0 a připojte novou repliku.
Ruční povýšení nekontroluje, zda aplikace zapisují do starého masteru, a nevrací starý master zpět jako repliku. Nejprve sami zastavte zápisy. Switchover provede oba kroky za vás: zastaví zápisy a vrátí starý master zpět.
Restart · parametry · certifikáty
Nastavení a zabezpečení
Firebird čte nastavení replikace pouze při spuštění. Proto záleží na tom, kdo a kdy ho restartuje. Pravidlo je jednoduché: Firebird masteru se nikdy nerestartuje automaticky. Existuje jedna výjimka: switchover a failover. Tam je restart součástí operace, kterou spustil operátor nebo kterou spustilo pravidlo zapnuté operátorem.
| Uzel | Kdo restartuje Firebird |
|---|---|
| Master | Pouze vy. Master uzel sám Firebird nerestartuje. |
| Replika, stejný Firebird má master databáze | Vy. Oprávnění v okně kopírování umožňuje uzlu pouze zastavit Firebird za účelem nahrazení nebo smazání starého souboru repliky. |
| Replika, automatický restart není povolen | Vy. |
| Ostatní repliky | Uzel, ve svém okně restartu. Jednou po sérii kopií, ne po každé databázi. |
Parametry replikace pro mnoho databází
Vyberte databáze: RCM je seskupí podle verze Firebirdu a role. Pro každý parametr zvolte akci: ponechat, nastavit, obnovit na úroveň výše nebo nezapisovat. Vidíte, odkud aktuální hodnota pochází: z databáze, uzlu nebo Firebirdu.
Náhled zkontroluje hodnoty na uzlech a nic nemění. Také ukazuje, kdo restartuje Firebird a kolika databází se to týká.
- Časová oknaRestart masteru, který jste vyžádali: 22:00–05:00. Replika: kdykoli. Ruční povýšení na master restartuje oba servery Firebirdu najednou, bez okna. Switchover restartuje jeden Firebird: na novém masteru. Rychlost plné kopie: 23:00–05:00.
- Rychlost segmentůVýchozí 50 MB/s, krátký špičkový výkon 200 MB. Změny okamžitě, bez restartu.
- Přesun souboru replikyDo jiné podsložky bez nové kopie; rollback při chybě.
- Ručně nakonfigurovaná replikaMůžete ji převzít pod správu bez nové kopie. RCM spáruje soubory podle GUID.
- Příkazový řádekKopírování, kontrola, pozastavení, povýšení a další příkazy RCM jsou také v
hqbirdrcm. Switchover, failover a pravidlo služby jsou dostupné třemi způsoby: v prohlížeči, příkazem a přes API. - Role prohlížejícíhoUživatel RCM s rolí prohlížejícího vidí vše a spouští kontroly. Jakákoli změna je pro tohoto uživatele zakázána.
- 6 jazykůRozhraní RCM. Pokyny k upozorněním jsou v angličtině.
Jeden dokument popisuje cluster
Členové, jejich role a vazby master → replica se nastavují na stránce Clusters v HQ Monitor nebo v RCM. fbagent na každém hostiteli získá popis a sám nainstaluje a nakonfiguruje uzly. Bez HQCenter spravuje RCM jeden cluster až se 3 hostiteli.
mTLS a certifikáty
Všechny clusterové kanály jsou chráněny mTLS se sdílenou CA. Klíč se vytváří na hostiteli člena a nikdy jej neopustí: ven jde pouze žádost o certifikát. Certifikát je platný 90 dní a obnovuje se sám 30 dní před vypršením. Nový klíč a nová CA se vydávají na příkaz administrátora.
Webové rozhraní RCM funguje přes HTTPS na portu 7444. Agent otevře tento port ve firewallu, když je RCM na hostiteli zapnuto. Přihlášení je uživatelským jménem a heslem; první heslo musíte změnit. Je v souboru rcm-initial-password na hostiteli RCM a nezobrazuje se na obrazovce. Po změně hesla agent tento soubor smaže. Přihlašovací stránka zobrazuje hash CA clusteru: porovnejte jej s řádkem „CA hash“ v souhrnu nastavení na hostiteli RCM. Každá změna a přihlášení se zapisuje do auditního protokolu.
Příkazy · časové limity · porty · kódy odmítnutí
Reference
Příkazy
| Úloha | Příkaz |
|---|---|
| Zapnout RCM na hostiteli | fbagent --cluster-init <id> |
| Otevřít nebo zavřít párovací okno | fbagent --cluster-pairing on|off |
| Propojit hostitele | hqbirdrcm cluster link -hosts db1,db2 -master db1 |
| Token pro hostitele bez párovacího okna | hqbirdrcm cluster join-token -note db2 |
| Opustit cluster | fbagent --cluster-leave |
| Popsat službu | hqbirdrcm services put -id shop -file shop.json |
| Kde je master | hqbirdrcm where -service shop |
| Plánovaný přesun masteru | hqbirdrcm switchover -service shop [-to db2] [-check] |
| Nouzový přesun | hqbirdrcm failover -service shop -accept-data-loss |
| Vrátit starý master zpět jako replicu | hqbirdrcm rejoin -service shop |
| Opustit stav selhání | hqbirdrcm resume -service shop [-check] |
| Pravidlo automatického failoveru | hqbirdrcm policy -service shop -auto-failover on|off |
| Průběh a zrušení operace | hqbirdrcm operations show|cancel -id <id> |
Časové limity a intervaly
| Co | Výchozí | Jak změnit |
|---|---|---|
| Switchover: čekání na ukončení připojení | 120 s, nejvýše 900 s | -quiesce-timeout |
| Switchover: replica aplikuje poslední segment | 300 s | -apply-timeout |
| Switchover: příkaz čeká na konec operace | 2 hodiny | -timeout |
| Failover: replica aplikuje to, co přijala | 60 s, nejvýše 3600 s | -apply-timeout |
| Automatický failover: master mlčí | 90 s | -failover-delay |
| Automatický failover: limit zpoždění | 30 s | -max-data-loss |
| Automatický failover: pauza mezi dvěma | 1 hodina | -min-interval |
| Kontrola podmínek failoveru a izolace starého masteru | každých 10 s | nelze změnit |
| Zaseknutý Firebird: test připojení | jednou za minutu, limit 10 s | nelze změnit |
| Router: dotaz na master uzel | každé 2 s | nelze změnit |
| Párovací okno, join token | 24 hodin | okno: počet hodin v požadavku |
| Propojení hostitelů: certifikát agenta, spuštění uzlu | až 10 minut, až 20 minut | nelze změnit |
Porty
| Port | Účel |
|---|---|
7443 | RCM: uzly, agenti a routery, mTLS. |
7444 | RCM: webové rozhraní a příkazy operátora, HTTPS. |
7450–7459 | Párovací okno agenta: 7450 + slot. |
7051–7060 | První uzel agenta: 7051 + slot. |
7061–7070 | Druhý uzel agenta: 7061 + slot. |
router_port | Port služby na routeru, například 3051. |
Kódy odmítnutí
| Kód | Význam |
|---|---|
not_in_sync | Cílová replica zaostává: switchover se nespustí. |
busy | Na uzlech běží kopie databáze nebo povýšení. |
service_busy | Na službě již běží operace. |
master_reachable | Master odpovídá: failover není potřeba. |
replica_unusable | Replica nemá použitelnou kopii databáze. |
data_loss_not_accepted | Failover bez přepínače -accept-data-loss. |
past_no_return | Zrušení po bodu bez návratu. |
no_witnesses | Automatický failover bez routerů. |
node_port_clash | Jiný člen hostitele používá port uzlu. |
seats_exceeded | Cluster již má 3 hostitele. |
Hlavní body stručně
Časté otázky
Jaký je rozdíl mezi switchoverem a failoverem?
Switchover je plánovaný: oba hostitelé pracují, žádná data se neztratí, starý master se sám vrátí jako replica. Failover je nouzový: hostitel masteru je ztracen, co master neodeslal, je ztraceno, a starý master vrátíte zpět samostatným příkazem.
Co vidí aplikace během switchoveru?
Připojení ke starému masteru se uzavřou, když RCM zastaví zápisy. Dokud se replica nestane masterem, není kam zapisovat. Po nové epoše se aplikace připojí znovu: na stejnou adresu routeru nebo na adresu nového masteru.
Jak dlouho switchover trvá?
Pauza zápisu má tři části: čekání na ukončení připojení (ve výchozím nastavení až 120 sekund), dohnání posledního segmentu a jeden restart Firebirdu na novém masteru. Rejoin starého masteru probíhá poté na pozadí. Jeho doba je dobou kopie databáze.
Mohu pracovat bez routeru?
Ano. Switchover a ruční failover fungují bez routerů. Aplikace pak získá adresu masteru ze samotného RCM. Automatický failover se bez routerů nezapne: routery jsou jeho svědky.
Kolik dat může automatický failover ztratit?
Pravidlo se nespustí, pokud replica zaostává o více než 30 sekund. Segmenty, které master zapsal a neodeslal, se však ztratí. Zpráva o operaci ukazuje jejich počet. Starý soubor databáze je zachován: tyto změny v něm a v archivu starého masteru zůstávají.
Služba je ve stavu selhání. Co mám dělat?
Podívejte se na důvod na stránce Services. Pokud se Firebird masteru zasekl, restartujte jej. Poté hqbirdrcm resume -service <id> -check ukáže, co službu blokuje, a resume bez přepínače vrátí službu do provozu.
Kolik místa potřebuje rejoin starého masteru?
Rejoin je nová kopie databáze. Platí stejná pravidla jako pro jakoukoli kopii: 105 % velikosti databáze. Po failoveru zůstává starý soubor vedle nového, takže starý hostitel potřebuje místo pro oba soubory.
Funguje to na Windows?
Uzly a RCM fungují na Windows a Linuxu. Router funguje pouze na Linuxu.