HQbird Cluster: klaster i replikacja
Klaster i replikacja HQbird Cluster
Master zapisuje zmiany do segmentów i wysyła je do replik przez bezpieczny kanał. Węzeł sam tworzy kopię bazy danych dla nowej repliki, przez nbackup, podczas gdy użytkownicy nadal pracują. Menedżer klastra (RCM) pokazuje opóźnienie, kolejki i błędy wszystkich węzłów. Przenosi też mastera na inny host: jako planowane przeniesienie, bez utraty danych, albo jako przeniesienie awaryjne, gdy host mastera zostanie utracony.
- Firebird 2.5 · 3 · 4 · 5
- nbackup kopia bez zatrzymywania mastera
- switchover bez utraty danych
- failover ręczny lub według reguły
- router parametry połączenia się nie zmieniają
- mTLS na wszystkich kanałach
Węzły · RCM · układy
Jak działa klaster
Węzeł działa obok każdego Firebird. Węzeł ma jedną rolę: master lub replika. Węzeł master wysyła segmenty, węzeł repliki je odbiera, a Firebird repliki stosuje je do swojej kopii bazy danych.
W klastrze jest jeden RCM. Działa na dowolnym hoście, który może połączyć się ze wszystkimi węzłami. Węzły wysyłają mu statystyki, a on przekazuje im polecenia operatora. RCM łączy mastera i replikę przez GUID bazy danych, a nie przez nazwę węzła.
RCM nie jest instalowany sam z siebie. Włączasz go na jednym hoście, gdy potrzebujesz klastra. Możesz umieścić router przed aplikacjami: zawsze kieruje je do bieżącego mastera.
| Komponent | Ile | Co robi |
|---|---|---|
| Firebird (HQbird) | na każdym serwerze bazy danych | Przechowuje bazy danych i zapisuje segmenty replikacji. |
| fbagent | jeden na instancję Firebird | Zatrzymuje i uruchamia Firebird, gdy węzeł tego zażąda. |
| hqclusternode | jeden na instancję i rolę | Konfiguruje replikację, wysyła segmenty, tworzy kopię bazy danych dla repliki. |
| hqbirdrcm (RCM) | jeden na klaster | Interfejs webowy, polecenia, alerty, statystyki. Wykonuje switchover i failover. |
| Router (hqclusternode router) | opcjonalnie, na hoście aplikacji, Linux | Utrzymuje HAProxy skierowany na mastera każdej usługi. Aplikacje łączą się z routerem. |
- Ta sama wersja główna5.0 na masterze, 5.0 na replice. W przeciwnym razie replika odmawia przed jakimkolwiek transferem danych.
- HQbird 2.5 i 3.0Replikacja przez plugin replconf. Filtry definiują zestaw tabel.
- Osobny folder dla każdego masteraReplika umieszcza bazę danych w folderze nazwanym od węzła mastera. Bazy danych o tej samej nazwie od różnych masterów nie kolidują.
- Bez fbagent nie ma zmianJeśli fbagent jest niedostępny, węzeł odmawia każdej akcji zmieniającej konfigurację. Nie działa „częściowo”.
- Węzeł bez RCMWęzeł może działać samodzielnie. RCM jest potrzebny do przeglądu i poleceń.
- Kompresja kanałuDla wolnej sieci: zstd na peera, działa od razu.
- Do 3 hostów bez HQCenterKażdy host z masterem lub repliką zajmuje miejsce w klastrze. RCM nie przyjmuje czwartego hosta.
RCM · okno parowania · Link hosts · sloty
Jak zbudować klaster
Instalator HQbird umieszcza programy klastra na każdym serwerze, ale ich nie włącza. RCM i okno parowania są domyślnie wyłączone. Klaster budujesz w trzech krokach: włączasz RCM na jednym hoście, otwierasz okno parowania na pozostałych hostach, łączysz hosty jednym przyciskiem.
- 1Włącz RCMna jednym hoście: w HQ Monitor lub przez
fbagent --cluster-init - 2Otwórz okno parowaniana pozostałych hostach, na 24 godziny
- 3Połącz hostyRCM znajduje agentów, wydaje certyfikaty i uruchamia węzły
Krok 1. RCM na jednym hoście
W HQ Monitor otwórz sekcję „Cluster on this server” i włącz RCM. To samo robi polecenie na hoście. Agent tworzy CA klastra, certyfikat RCM i pierwszego użytkownika. W zaporze otwierają się porty 7443 i 7444.
fbagent --cluster-init <id>
Podczas instalacji to samo robi przełącznik --rcm on (Linux) lub /RCM (Windows).
Krok 2. Okno parowania
Na każdym hoście, który dołączy do klastra, agent otwiera port parowania na 24 godziny. Port zamyka się sam, gdy okno się skończy lub gdy agent dołączy do klastra.
fbagent --cluster-pairing on
To samo robi przycisk w HQ Monitor. Podczas instalacji: --cluster-pairing on lub /DISCOVERY.
Krok 3. Połącz hosty
W RCM otwórz Settings → Link hosts i wpisz hosty, po jednym w wierszu. Przycisk Check hosts odczytuje porty 7450–7459 każdego hosta. Każdy agent, który odpowiedział, to jeden wiersz tabeli.
- Wiersz pokazuje: port, instancję, wersję i port Firebird, port węzła, odcisk certyfikatu.
- Zaznacz wiersze polami wyboru i wybierz mastera. Wiersz z błędem nie blokuje pozostałych wierszy.
- Link wydaje certyfikat każdemu agentowi, tworzy członków i powiązania master → replika.
- RCM czeka do 10 minut na certyfikat agenta i do 20 minut na uruchomienie węzłów.
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1
Porównaj odcisk w wierszu z tym, który agent pokazał na swoim hoście. W ten sposób wiesz, że łączysz właściwy serwer.
- Kilku agentów na jednym hościeKażdy agent ma własny slot od 0 do 9. Port parowania 7450 + slot, porty węzła 7051 + slot i 7061 + slot. Instalator wybiera slot; przełącznik
--pairing-portustawia go jawnie. - Add memberStrona Cluster proponuje wolny port węzła i odmawia portu, którego używa inny członek tego hosta.
- Nazwy członków
<host name>-masteri<host name>-replica. RCM nie zmienia nazwy członka: nowa nazwa to nowy członek. - Bez okna parowaniaRCM wydaje token dla jednego agenta, na 24 godziny. Na nowym hoście:
fbagent --cluster-joinz tym tokenem i hashem CA.
- Właściciel RCMAgent, który włączył RCM na hoście. Drugi agent na tym hoście otrzymuje odmowę. Jeśli właściciel zostanie usunięty,
fbagent --cluster-init --rcm-takeoverprzenosi RCM do innego agenta. Klaster otrzymuje nowe CA i musisz ponownie połączyć członków. - Opuszczanie klastra
fbagent --cluster-leavezatrzymuje węzły, zamyka ich porty i usuwa certyfikaty klastra. Foldery węzłów pozostają;--remove-dataje usuwa. Agent odchodzi sam, jeśli RCM go unieważnił lub usunął jego ostatniego członka. - ZaporaAgent sam otwiera i zamyka swoje porty klastra. Nie zamyka portu, który był otwarty przed nim.
- Usuwanie HQbirdWłaściciel RCM nie jest usuwany, dopóki inni agenci używają jego RCM. Kreator instalacji pyta; tryb cichy wymaga
--forcelub/FORCE.
Strona Clusters w lokalnym HQ Monitor działa przez agenta na hoście RCM. Nie wymaga hasła RCM. Tylko administrator widzi sekcję „Cluster on this server”.
Inicjalizacja · reinit
Nowa replika bez zatrzymywania mastera
Replika otrzymuje bazę danych wyłącznie od mastera. Węzeł master zamraża plik za pomocą nbackup -L, wysyła go w częściach i natychmiast usuwa blokadę. Użytkownicy mastera pracują przez cały czas: ich zmiany trafiają do .delta i później wracają do bazy danych.
gbak i ręczne kopiowanie pliku nie działają w tym przypadku. gbak zmienia GUID bazy danych i przerywa połączenie master–replika. Kopia pliku działającej bazy danych nie jest spójna.
Użytkownicy mastera
Pliki
- Utrata połączeniaTransfer jest kontynuowany od ostatnio odebranej części. Niedokończona kopia pozostaje na replice przez 24 godziny.
- BłądWęzeł usuwa blokadę, usuwa niedokończony plik i ustawia bazę danych na FAILED. Następna próba rozpoczyna się od znanego stanu.
- Transakcje podczas blokadyNie są tracone. Firebird 4 i 5: węzeł odnajduje transakcje otwarte w momencie
nbackup -L, a replika powtarza je z segmentów. HQbird 2.5 i 3.0: węzeł czeka na zakończenie takich transakcji (około minuty), w przeciwnym razie kopia nie zostaje rozpoczęta.
- Jedna baza danych narazDomyślnie węzeł master kopiuje jedną bazę danych. Pozostałe czekają w kolejce.
- Inne repliki tej bazy danychPodczas kopiowania nie otrzymują segmentów tej bazy danych. Później nadrabiają zaległości.
- Automatyczna ponowna inicjalizacjaRCM może samodzielnie ponownie skopiować bazę danych w stanie NEEDS_REINIT, tylko w ustalonym oknie czasowym. Domyślnie wyłączone.
Tryb łagodny czeka na długie transakcje
Przed blokadą węzeł szuka transakcji zapisu, które rozpoczęły się przed najstarszym segmentem w archiwum mastera. Jeśli archiwum jest puste (pierwsza kopia), granicą jest moment, w którym węzeł włączył publikację. Replika nie może powtórzyć takich transakcji i zatrzymałaby się. Dlatego kopia nie rozpoczyna się, dopóki takie transakcje są otwarte.
RCM pokazuje pięć połączeń z najstarszymi transakcjami: użytkownik, klient, wiek, bieżące zapytanie. Możesz je rozłączyć i natychmiast powtórzyć kopiowanie. Podczas oczekiwania kopii archiwum mastera nie jest czyszczone, ale nie dłużej niż przez 1000 segmentów. Potem czyszczenie jest kontynuowane, a RCM zgłasza alert.
Tryb normalny blokuje bazę danych natychmiast, bez sprawdzania.
Miejsce i szybkość
| Gdzie | Co jest potrzebne |
|---|---|
| Master, wolumen bazy danych | Co najmniej 105 % rozmiaru bazy danych wolnego miejsca. .delta rośnie podczas kopiowania. |
| Replika, wolumen bazy danych | 105 % plus rezerwa wolumenu free_space_floor_gb (domyślnie 1 GB). Węzeł rezerwuje pełny rozmiar z góry; druga kopia nie jest potrzebna. Przy powtórnym kopiowaniu stary plik pozostaje do końca. Jeśli brakuje miejsca na oba pliki, pole wyboru „Remove the old replica” usuwa stary plik przed transferem. |
| Szybkość nocna | W oknie transferu (domyślnie 23:00–05:00) jest stała, domyślnie 100 MB/s. |
| Szybkość dzienna | Udział zmierzonej szybkości dysku, domyślnie połowa. Kopia rozpoczęta w ciągu dnia sama przyspiesza w nocy. |
Miejsce jest sprawdzane dwukrotnie i tylko przed blokadą: najpierw przez RCM na podstawie statystyk, następnie przez węzły za pomocą pomiaru na żywo po obu stronach. Sprawdzenia węzła nie można pominąć: chroni dysk przed zapełnieniem w trakcie kopiowania.
Firebird 4 i 5 · HQbird 2.5 i 3.0
Publikacja: które tabele trafiają do repliki
Firebird 4 i 5 zapisują do segmentów tylko zmiany opublikowanych tabel i tylko wtedy, gdy publikacja jest włączona. Bez niej zmiany nie docierają do repliki. Węzeł to zauważa i zgłasza alert. Przycisk „Sync publication” włącza ją i buduje poprawną listę tabel.
Co robi synchronizacja
- włącza publikację, chyba że operator celowo ją wyłączył;
- dodaje wszystkie tabele z kluczem głównym lub unikalnym indeksem;
- usuwa tabele bez klucza oraz tabele wykluczone przez operatora;
- wyłącza automatyczne dodawanie nowych tabel.
Bez klucza replika nie może odnaleźć wiersza dla UPDATE i DELETE. Dlatego taka tabela nie może być opublikowana: dodaj klucz i zsynchronizuj ponownie.
- Sprawdzanie co godzinęJeśli publikacja jest wyłączona, węzeł sprawdza ją co 2 minuty. Dla bazy danych z repliką jest to alert.
- Lista wykluczeńPrzechowywana na węźle master. Gdy replika zostaje awansowana na mastera, lista przenosi się na nowego mastera.
- Nowa tabelaNie dołącza do publikacji samodzielnie. Utwórz klucz i kliknij „Sync publication”.
- Kopiowanie bez publikacjiWęzeł master odmawia skopiowania bazy danych, jeśli publikacja jest wyłączona lub nie ma tabel (
publication_off). Okno inicjalizacji oferuje „Sync publication and initialize”. - HQbird 2.5 i 3.0Brak publikacji. Filtry dołączania i wykluczania w ustawieniach replikacji określają zestaw tabel.
Zmiany wykonane, gdy publikacja była wyłączona lub tabela była wykluczona, nie docierają do repliki, nawet po jej włączeniu. „Verify” porównuje tylko liczbę wierszy; nie wykrywa utraconych UPDATE. Jeśli do bazy danych zapisywano przy wyłączonej publikacji, skopiuj bazę danych ponownie.
Opóźnienie · archiwum · alerty · sprawdzanie danych
Monitorowanie: replika nie pozostaje w tyle po cichu
Węzły wysyłają statystyki do RCM co 30 sekund. Dla każdej pary master–replika widzisz: ostatni segment, ile zostało wysłanych, potwierdzonych i zastosowanych, kolejkę oraz opóźnienie w sekundach.
| Stan bazy danych | Grupa w RCM | Znaczenie |
|---|---|---|
IN_SYNC | Ok | Replika otrzymała wszystkie segmenty. |
LAGGING | Pending | Replika pozostaje w tyle, segmenty są w kolejce. |
SEEDING | Pending | Baza danych jest kopiowana do repliki. |
NEEDS_REINIT | Error | Replikę należy skopiować ponownie. |
FAILED | Error | Ostatnie kopiowanie nie powiodło się. |
Archiwum mastera jest czyszczone etapami
Master przechowuje wysłane segmenty, aby replika mogła zażądać ich ponownie. Jeśli brakuje miejsca, najpierw usuwa to, co z pewnością nie jest potrzebne.
- 1Zastosowane przez wszystkie, starsze niż limitdomyślny limit to 2 dni
- 2Zastosowane, ale nowsze niż limitjeśli wolne jest mniej niż 1 GB; alert
- 3Jeszcze niezastosowanejako ostatni krok; replika wymaga nowej kopii
Alerty z instrukcjami
RCM zna ponad 20 typów alertów, a każdy ma instrukcję, co zrobić. Możesz potwierdzić alert, wyciszyć go na 60 minut lub usunąć. Jeśli przyczyna pozostaje, alert pojawia się ponownie.
Brak e-maila lub webhooka: obserwuj stronę „Alerts” lub odpytuj API RCM.
| Kod | Co się stało |
|---|---|
backlog_warn / backlog_critical | Master ma 32 / 48 niearchiwizowane segmenty. |
apply_error, replication_stopped | Replika nie może zastosować segmentu. |
replication_guid_mismatch | GUID bazy danych mastera uległ zmianie: przywrócenie lub zamiana pliku. |
segment_missing, sequence_gap | Sekwencja segmentów jest przerwana. |
firebird_down, firebird_log_error | Firebird jest zatrzymany lub zapisuje błędy. |
firebird_not_answering | Port Firebird jest otwarty, ale połączenie z bazą danych nie powiodło się przez minutę. |
master_publication_off | Publikacja jest wyłączona dla bazy danych z repliką. |
data_mismatch | Okresowe sprawdzanie danych wykryło różnicę. Sprawdzanie danych jest włączane osobno. |
Porównanie mastera i repliki
Verify zlicza wiersze wybranych tabel na masterze i na replice i porównuje je. Nie porównuje zawartości wierszy: nie wykryje zmienionych wierszy. Uruchamiaj to w spokojnym czasie: przy aktywnych zapisach liczby mogą się różnić.
Okresowe sprawdzanie jest domyślnie wyłączone: COUNT(*) odczytuje całą tabelę. Włącz je parametrem węzła data_check_enabled; uruchamia się raz na 2 godziny. Nowe ustawienia sprawdzania działają od razu, bez restartu węzła. Sprawdzanie porównuje dane, gdy master i replika są na tym samym segmencie. Różnica wywołuje alert. Tabela wyłączona z publikacji jest pokazywana jako „nieopublikowana”, a nie jako błąd.
- Wstrzymaj wysyłanieDla jednej lub wielu baz danych. Po „Wznów” wysyłanie kontynuuje od ostatniego segmentu, bez nowej kopii. Archiwum tymczasem rośnie.
- Logi zdalnego węzłareplication.log, firebird.log i log węzła bezpośrednio w RCM, bez logowania się na serwer.
- Brak licencjiMaster przestaje wysyłać; Firebird i bazy danych działają dalej. Po zainstalowaniu licencji wysyłanie wznawia się samo w ciągu minuty.
- Log poleceńKażde polecenie RCM jest zapisywane wraz z autorem i wynikiem. Raport klastra w jednym pliku JSON.
Usługa · epoka · gdzie jest master
Usługi: jedna baza danych na kilku hostach
Usługa to jedna logiczna baza danych na kilku hostach. Master może przenosić się z hosta na host, ale nazwa usługi i alias bazy danych się nie zmieniają. Aplikacje i routery pytają RCM, gdzie obecnie znajduje się master usługi.
Każda zmiana mastera otrzymuje kolejny numer: epokę. RCM przechowuje historię epok: kiedy master się zmienił i dlaczego. RCM znajduje usługę po węźle i ścieżce pliku, a nie po GUID: przy przełączeniu GUID bazy danych się zmienia, ale ścieżka pozostaje ta sama.
Co opisuje usługa
- alias: nazwa bazy danych w
databases.conf. Nowy master zapisuje ją sam. - members: jeden wpis na host: węzeł mastera, węzeł repliki, ścieżka pliku, priorytet.
- router_port: port, na którym routery przyjmują aplikacje tej usługi.
- policy: reguły automatycznego failoveru i tryb zamykania starego mastera.
Każdy host usługi uruchamia dwa węzły na jednym Firebirdzie: węzeł mastera i węzeł repliki. To ten sam układ „Dwa węzły na host” co na powyższym diagramie.
Węzeł mastera potrzebuje adresu Firebird dla klientów: parametru advertise_addr. Bez niego RCM nie może powiedzieć aplikacji, gdzie ma się połączyć.
Gdzie teraz jest master
hqbirdrcm services put -id shop -file shop.json hqbirdrcm services hqbirdrcm where -service shop hqbirdrcm where -db shop
where odpowiada: host i adres mastera, numer epoki, repliki i wykryte problemy. Przez API aplikacja może poczekać na nową epokę bez odpytywania RCM co sekundę.
Strona Services w RCM pokazuje to samo dla każdej usługi: stan, epokę, mastera, adres Firebird, repliki i problemy. Pole Find znajduje bazę danych po aliasie, nazwie usługi, GUID lub ścieżce.
Usługi w przeglądarce
Wszystko, co polecenia hqbirdrcm robią dla usług, jest również w interfejsie webowym RCM. Nie potrzebujesz do tego wiersza poleceń.
- Strona usługiStan i jego przyczyna, master, repliki z ich opóźnieniem, hosty i ich role, routery, stare mastery oczekujące na zamknięcie, reguła automatycznego failoveru, trwająca operacja krok po kroku oraz historia masterów.
- Przyciski akcjiSwitchover, Failover, Rejoin, Resume. Każdy przycisk najpierw uruchamia sprawdzanie i pokazuje problemy. Akcja rozpoczyna się dopiero po potwierdzeniu. Drugie kliknięcie nie uruchamia drugiej operacji.
- Formularz usługiPrzycisk New service tworzy usługę: nazwa, alias, port routera i jeden wiersz dla każdego hosta. Formularz proponuje węzły i bazy danych, które widzą. Check sprawdza formularz, Save najpierw pokazuje listę zmian.
- OperacjeStrona ze wszystkimi switchoverami, failoverami i rejoinami, od najnowszych. Gdy operacja trwa, nagłówek każdej strony ma etykietę z linkiem do niej.
- Usuwanie usługiUsuwany jest tylko rekord w RCM. Okno dialogowe informuje, co pozostaje (bazy danych, replikacja, role węzłów, alias), a co zostaje utracone (historia, reguła, port na routerach), i prosi o wpisanie nazwy usługi.
- Rola widzaUżytkownik z tą rolą widzi wszystkie strony i uruchamia sprawdzanie, ale nie ma przycisków akcji.
| Stan usługi | Znaczenie | Co zrobić |
|---|---|---|
ok | Master działa, replika na innym hoście za nim podąża. | Nic. |
rejoining | Stary master wraca jako replika. | Poczekaj: baza danych jest kopiowana. |
degraded_no_replica | Master działa, nie ma repliki. Dzieje się tak po failoverze lub po błędzie rejoin. | hqbirdrcm rejoin |
failed | RCM nie może ustalić stanu lub Firebird mastera nie odpowiada. | hqbirdrcm resume po sprawdzeniu |
Usługa w stanie failed nie rozpoczyna ani switchoveru, ani automatycznego failoveru. Tylko operator może wyprowadzić ją z tego stanu: poleceniem resume, przez rejoin lub ręcznym failoverem.
Planowane przeniesienie mastera · bez utraty danych
Switchover: master przenosi się na inny host
Switchover przenosi mastera usługi na inny host bez utraty danych. Sam RCM zatrzymuje zapisy na starym masterze, czeka, aż replika zastosuje ostatni segment, i czyni ją masterem. Następnie stary master wraca do klastra jako replika nowego, pod tą samą ścieżką.
Potrzebujesz go do planowanych prac: aktualizacji systemu, wymiany dysku, przeniesienia obciążenia na inny serwer. Najpierw sprawdzanie, potem start:
hqbirdrcm switchover -service shop -check # tylko sprawdzenie, niczego nie zmienia hqbirdrcm switchover -service shop -to db2 # przenieś mastera na db2
Polecenie wykonuje operację do końca i wypisuje każdy krok. Kod wyjścia 0 oznacza sukces. Przycisk Switchover na stronie usługi w RCM robi to samo: najpierw sprawdzanie, potem potwierdzenie, potem kroki operacji na ekranie.
Aplikacje
Hosty i usługa
Co RCM sprawdza przed startem
- Usługa jest w stanie
ok, master jest znany. - Docelowa replika jest w stanie
IN_SYNC. - Wszystkie cztery węzły obu hostów odpowiadają.
- Docelowa replika nie jest wstrzymana z powodu licencji.
- Na tych węzłach nie działa kopiowanie bazy danych ani promocja.
Jeśli coś jest nie tak, RCM odmawia i podaje przyczynę jako kod. Do tego momentu nic się nie zmieniło.
Jeśli coś pójdzie nie tak
- Przed punktem bez odwrotu. Błąd, przekroczenie limitu czasu lub anulowanie przywraca stary master do trybu online. Usługa pozostaje
okna starym hoście. Jeśli stary master nie wróci do trybu online, usługa otrzymuje stanfailed: przywróć bazę danych do trybu online poleceniemgfix -online normali uruchomresume. - Po punkcie bez odwrotu. Nie można anulować. Błąd ustawia usługę na
failed. - Błąd podczas rejoin. Nowy master działa, nie ma repliki:
degraded_no_replica. Uruchomhqbirdrcm rejoin -service shop.
hqbirdrcm operations show -id <id> hqbirdrcm operations cancel -id <id>
W przeglądarce to strona Operations oraz przycisk Cancel na stronie usługi.
- Zatrzymywanie zapisówStary master przechodzi w pełne zamknięcie. Węzeł czeka, aż połączenia się zakończą: domyślnie 120 sekund, maksymalnie 900. Przełącznik
-force Nprzerywa połączenia po N sekundach. - DogrywanieCo sekundę RCM pyta replikę, czy zastosowała ostatni segment. Domyślny limit to 300 sekund.
- Jeden restart FirebirdNa nowym masterze, bez czekania na okno. Podczas rejoin Firebird starego hosta restartuje się tylko wtedy, gdy wymaga tego węzeł repliki.
- Rejoin to kopia bazy danychNowy master kopiuje bazę danych na stary host przez nbackup. W przypadku dużej bazy danych trwa to długo, więc polecenie czeka na operację do 2 godzin.
- RCM zrestartowanyKażdy krok jest zapisywany na dysku przed wywołaniem węzła. Po restarcie RCM kontynuuje operację od bieżącego kroku.
- Blokada usługiGdy trwa switchover lub rejoin, RCM odrzuca inne zmiany na tych węzłach: ustawienia, restart Firebird, kopiowanie, wstrzymanie wysyłki.
Połączenia ze starym masterem zamykają się na etapie zatrzymywania zapisów. Aplikacja musi połączyć się ponownie. W przypadku routera parametry połączenia pozostają takie same. Bez routera aplikacja przechodzi na adres nowego mastera: podaje go hqbirdrcm where -service shop.
HAProxy · Linux · jeden ciąg połączenia
Routery: aplikacje zachowują ten sam adres
Router działa na hoście aplikacji i utrzymuje HAProxy skierowany na mastera każdej usługi. Aplikacje łączą się z <router host>:<service port>. Po switchover lub failover ciąg połączenia pozostaje taki sam.
Jak router wybiera host
- Pobiera tabelę usług z RCM: epokę, hosta mastera, adresy Firebird.
- Co 2 sekundy pyta węzeł mastera: „czy jesteś masterem tej epoki i czy baza danych jest online?”
- Odpowiedź „tak”: host przyjmuje połączenia.
- Odpowiedź „nie”: brak nowych połączeń, otwarte połączenia pozostają.
- Nowa epoka: sesje starego mastera zamykają się natychmiast.
Jeśli RCM jest niedostępny, router pracuje z ostatnią tabelą. Router przechowuje ją na swoim dysku.
Jak dodać router
Router to członek klastra z rolą router. Dodaj go na stronie Cluster, tak jak mastera lub replikę. fbagent na tym hoście otrzymuje certyfikat, zapisuje konfigurację i rejestruje usługę. Na hoście musi być zainstalowany HAProxy.
router_port w opisie usługi ustawia port usługi. Możesz mieć kilka routerów: po jednym na każdym hoście aplikacji.
Strona Settings → Routers w RCM pokazuje routery i ich raporty: którą epokę router zastosował i do którego hosta prowadzi.
- Połączenia się zrywająGdy master się zmienia, otwarte połączenia zamykają się. Aplikacja musi połączyć się ponownie, pod ten sam adres.
- Adres klientaFirebird widzi adres HAProxy, a nie adres aplikacji. Reguły dostępu według IP klienta nie działają za routerem.
- Tylko LinuxRouter działa na Linuksie. Serwery baz danych mogą działać na Windows i Linux.
- ŚwiadkowieRoutery informują RCM, czy mogą dotrzeć do portu Firebird mastera. Bez nich automatyczny failover się nie włącza.
Utracony host mastera · ręcznie lub według reguły
Failover: replika przejmuje rolę mastera
Failover jest potrzebny, gdy host mastera nie odpowiada. Replika staje się masterem z segmentami, które otrzymała. To, czego master nie wysłał, przepada. Operator musi więc jawnie zaakceptować utratę.
hqbirdrcm failover -service shop -check # what will be lost hqbirdrcm failover -service shop -to db2 -accept-data-loss # start
Bez przełącznika -accept-data-loss polecenie tylko sprawdza i pokazuje szacowaną utratę: ostatni segment mastera, ile segmentów replika otrzymała i zastosowała oraz ile segmentów jest utraconych co najmniej.
W przeglądarce to przycisk Failover na stronie usługi. Uruchamia operację tylko wtedy, gdy operator zaznaczył pole utraty danych i wpisał nazwę usługi.
- 1Sprawdzeniemaster nie odpowiada, replika ma użyteczną kopię
- 2Dogrywaniereplika stosuje wszystko, co otrzymała; limit 60 s
- 3Promocjapunkt bez powrotu: nowy GUID, restart Firebird
- 4Nowa epokareplika jest masterem; stary master czeka na zamknięcie
- Master nadal odpowiadaRCM odmawia:
master_reachable. Wykonaj switchover albo najpierw zatrzymaj węzeł mastera. - Replika opóźnionaStan
LAGGINGjest akceptowany. Replika, która wymaga nowej kopii, nie nadaje się. - Kilka replikDomyślnie RCM wybiera tę, która zastosowała więcej segmentów, a następnie tę o wyższym priorytecie.
- Po failoverUsługa jest w stanie
degraded_no_replica: master działa, nie ma repliki. Rejoin nie jest możliwy, dopóki stary host nie wróci do pracy. - Usługa w stanie failedRęczny failover działa również dla niej. To wyjście, gdy Firebird mastera zawiesza się i nie można go szybko zrestartować.
- Wykluczone tabeleRCM pobiera ich listę z repliki lub z ostatnich statystyk starego mastera. Jeśli nie ma listy, ustaw tabele na stronie publikacji nowego mastera.
- Limit dogrywaniaPrzełącznik
-apply-timeout, domyślnie 60 sekund, maksymalnie 3600.
Automatyczny failover opcjonalny
RCM może sam uruchomić failover. Jest to domyślnie wyłączone. Regułę włączasz osobno dla każdej usługi: na stronie usługi w przeglądarce lub poleceniem.
hqbirdrcm policy -service shop # show the rule
hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30
RCM sprawdza warunki co 10 sekund i uruchamia failover tylko wtedy, gdy wszystkie są spełnione.
| Warunek | Dlaczego |
|---|---|
| Węzeł mastera milczy przez 90 sekund | Master nie wysyła statystyk. |
| Bezpośrednie wywołanie z RCM do węzła mastera kończy się niepowodzeniem (5 sekund) | To nie są tylko spóźnione statystyki. |
| Więcej niż połowa routerów nie może dotrzeć do portu Firebird mastera | Aplikacje również nie mogą się połączyć. |
| Węzeł repliki nie widział mastera przez 90 sekund | Trzeci świadek. |
| Opóźnienie repliki wynosi 30 sekund lub mniej | Limit utraty danych. |
| Minęła godzina od ostatniego automatycznego failover | Master nie przeskakuje między hostami. |
| RCM działa dłużej niż 90 sekund | Po restarcie RCM nie ma świeżych danych. |
Usługa ma stan ok, na węzłach nie działa kopiowanie ani promocja | Brak konfliktu z uruchomionymi zadaniami. |
- Routery są wymaganeReguła wymaga obu routerów i portu usługi. Jeśli brakuje jednego z nich, reguła się nie włącza:
no_witnesses. Rozmieść routery tak, aby większość z nich nie znajdowała się na hoście master. - JednorazowoPo automatycznym failoverze reguła wyłącza się sama. Ponownie włącza ją tylko operator.
- Dlaczego się nie uruchomiłaRCM przechowuje powód oczekiwania razem z regułą usługi i zapisuje każdy nowy powód do swojego logu jednorazowo.
- LogOperacja działa jako
system:autofailover. Pierwszy wpis mówi, co widziały witnesses.
Limit 30 sekund obejmuje tylko kolejkę, którą replika otrzymała i jeszcze nie zastosowała. Segmenty, które master zapisał, ale nie wysłał, nie są w niej uwzględnione. Raport operacji pokazuje ich liczbę.
Fence · rejoin · zawieszony master · resume
Ponowne dołączenie i odzyskiwanie
Po failoverze klaster ma dwa pliki, które były masterem. Musisz zamknąć stary, aby nie przyjmował zapisów, i przywrócić go jako replikę. RCM wykonuje pierwsze sam, drugie na polecenie operatora.
Zamykanie starego mastera (fence)
RCM próbuje zamknąć starego mastera co 10 sekund. Gdy jego węzeł odpowie, otrzymuje rolę „closed” i przestaje wysyłać segmenty. Każdy fence jest zapisywany w logu audytu.
- Tryb
route(domyślny). Baza starego mastera pozostaje online. Routery już jej nie używają. - Tryb
shutdown. RCM najpierw zatrzymuje bazę danych. Połączenia zamykają się po 5 sekundach.
hqbirdrcm policy -service shop -fence-mode shutdown
Przywracanie starego mastera (rejoin)
Gdy stary host znów działa, uruchom rejoin. RCM najpierw zamyka starego mastera, jeśli nie zostało to jeszcze zrobione. Następnie nowy master kopiuje swoją bazę danych na stary host, pod tę samą ścieżkę.
hqbirdrcm rejoin -service shop
Stary plik nie jest usuwany. Pozostaje obok nowego jako <name>.pre-reinit-<time>.fdb. Ten plik i archiwum starego mastera zawierają zmiany, których nowy master nie ma.
W trybie route aplikacje, które łączą się bezpośrednio ze starym hostem, a nie przez router, nadal mogą zapisywać do starej bazy danych. Te zmiany nie docierają do nowego mastera. Jeśli niektóre aplikacje działają bez routera, włącz tryb shutdown.
Zawieszony master
Firebird może się zawiesić tak, że port jest otwarty, ale nie można połączyć się z bazą danych. Sprawdzenie portu tego nie wykrywa. Dlatego sam węzeł co minutę łączy się z bazą danych, z limitem 10 sekund.
- Minuta bez odpowiedzi: poważny alert
firebird_not_answering. - RCM ustawia usługę na
failedi zapisuje powód: węzeł, host, czas. - Automatyczny failover nie uruchamia się w tym stanie.
Co zrobić: zapisz stosy wątków Firebird i firebird.log, zrestartuj Firebird na hoście master, a następnie uruchom resume. Jeśli nie możesz szybko zrestartować, zatrzymaj węzeł master i uruchom failover.
Wyjście ze stanu failed
hqbirdrcm resume -service shop -check hqbirdrcm resume -service shop
RCM pyta bezpośrednio węzeł master i sprawdza:
- na usłudze nie działa żadna operacja;
- węzeł master odpowiada;
- jego Firebird przyjmuje połączenia;
- host jest masterem bieżącej epoki, baza danych jest online.
Usługa przechodzi do ok, jeśli replika na innym hoście podąża za masterem. W przeciwnym razie przechodzi do degraded_no_replica: wtedy uruchom rejoin.
Przełącz na normalny · promuj do mastera
Ręczna promocja repliki: krok po kroku
W przypadku bazy danych będącej częścią usługi użyj switchover i failover: same wykonują wszystkie poniższe kroki. Ścieżka ręczna pozostaje dla baz danych bez usługi. „Przełącz na normalny” czyni replikę osobną działającą bazą danych: do raportów, testów lub na wypadek awarii. „Promuj do mastera” czyni replikę nowym masterem.
Promocja działa dla pary węzłów towarzyszących: węzła repliki i węzła master na tej samej instancji Firebird. Plik bazy danych pozostaje na miejscu; kontrola przechodzi do węzła towarzyszącego. Każdy krok jest widoczny w wierszu bazy danych. Jeśli krok został przerwany, kliknij przycisk ponownie: ukończone kroki nie są powtarzane.
Połączenia
Co pokazuje RCM
Dlaczego nowy GUID
Bez niego nowy master zapisywałby segmenty pod GUID starego mastera, a jego repliki by je odrzucały. Węzeł nadaje bazie danych nowy GUID na miejscu, przez nbackup, bez restartu Firebird. Działa to na 2.5, 3.0, 4.0 i 5.0.
Po nowym GUID stary łańcuch nbackup nie pasuje. Wykonaj nową kopię poziomu 0.
Ręczny switchover bez usługi
- Zatrzymaj zapisy aplikacji do starego mastera.
- Poczekaj na
IN_SYNCi pustą kolejkę. - Kliknij „Weryfikuj”: liczby wierszy się zgadzają. To sprawdza tylko liczby wierszy.
- „Promuj do mastera”, poczekaj na krok FINALIZE.
- Przełącz aplikacje na nowego mastera.
- Wykonaj kopię nbackup poziomu 0 i podłącz nową replikę.
Ręczna promocja nie sprawdza, czy aplikacje zapisują do starego mastera, i nie przywraca starego mastera jako repliki. Najpierw sam zatrzymaj zapisy. Switchover wykonuje oba kroki za Ciebie: zatrzymuje zapisy i przywraca starego mastera.
Restart · parametry · certyfikaty
Ustawienia i bezpieczeństwo
Firebird odczytuje ustawienia replikacji tylko przy starcie. Dlatego ważne jest, kto i kiedy go restartuje. Zasada jest prosta: Firebird mastera nigdy nie jest restartowany automatycznie. Jest jeden wyjątek: switchover i failover. Tam restart jest częścią operacji, którą rozpoczął operator lub którą rozpoczęła reguła włączona przez operatora.
| Węzeł | Kto restartuje Firebird |
|---|---|
| Master | Tylko Ty. Węzeł master nie restartuje Firebird samodzielnie. |
| Replika, ta sama instancja Firebird ma bazy danych mastera | Ty. Uprawnienie w oknie kopiowania pozwala węzłowi jedynie zatrzymać Firebird, aby zastąpić lub usunąć stary plik repliki. |
| Replika, automatyczny restart niedozwolony | Ty. |
| Inne repliki | Węzeł, w swoim oknie restartu. Raz po serii kopii, nie po każdej bazie danych. |
Parametry replikacji dla wielu baz danych
Wybierz bazy danych: RCM grupuje je według wersji Firebird i roli. Dla każdego parametru wybierz akcję: zachowaj, ustaw, zresetuj do poziomu wyżej lub nie zapisuj. Widzisz, skąd pochodzi bieżąca wartość: z bazy danych, z węzła czy z Firebird.
Podgląd sprawdza wartości na węzłach i niczego nie zmienia. Pokazuje też, kto zrestartuje Firebird i ile baz danych to obejmie.
- Okna czasoweRestart mastera, o który poprosiłeś: 22:00–05:00. Replika: dowolna pora. Ręczna promocja do mastera restartuje oba serwery Firebird naraz, bez okna. Switchover restartuje jeden Firebird: na nowym masterze. Prędkość pełnej kopii: 23:00–05:00.
- Prędkość segmentówDomyślnie 50 MB/s, krótki szczyt 200 MB. Zmiany od razu, bez restartu.
- Przenoszenie pliku replikiDo innego podfolderu bez nowej kopii; wycofanie przy błędzie.
- Ręcznie skonfigurowana replikaMożesz przejąć ją pod zarządzanie bez nowej kopii. RCM dopasowuje pliki po GUID.
- Wiersz poleceńKopiowanie, sprawdzanie, pauza, promocja i inne polecenia RCM są również w
hqbirdrcm. Switchover, failover i reguła usługi są dostępne na trzy sposoby: w przeglądarce, za pomocą polecenia i przez API. - Rola widzaUżytkownik RCM z rolą widza widzi wszystko i uruchamia kontrole. Ten użytkownik nie może wprowadzać żadnych zmian.
- 6 językówInterfejs RCM. Instrukcje alertów są w języku angielskim.
Jeden dokument opisuje klaster
Członkowie, ich role i łącza master → replica są ustawiane na stronie Klastry w HQ Monitor lub w RCM. fbagent na każdym hoście otrzymuje opis i sam instaluje oraz konfiguruje węzły. Bez HQCenter RCM zarządza jednym klastrem liczącym do 3 hostów.
mTLS i certyfikaty
Wszystkie kanały klastra są chronione przez mTLS ze wspólnym CA. Klucz jest tworzony na hoście członka i nigdy go nie opuszcza: na zewnątrz wychodzi tylko żądanie certyfikatu. Certyfikat jest ważny 90 dni i odnawia się sam 30 dni przed wygaśnięciem. Nowy klucz i nowe CA są wydawane na polecenie administratora.
Interfejs webowy RCM działa przez HTTPS na porcie 7444. Agent otwiera ten port w zaporze, gdy RCM jest włączony na hoście. Logowanie odbywa się nazwą użytkownika i hasłem; pierwsze hasło trzeba zmienić. Znajduje się ono w pliku rcm-initial-password na hoście RCM i nie jest wyświetlane na ekranie. Po zmianie hasła agent usuwa ten plik. Strona logowania pokazuje hash CA klastra: porównaj go z wierszem „CA hash” w podsumowaniu konfiguracji na hoście RCM. Każda zmiana i logowanie są zapisywane w dzienniku audytu.
Polecenia · limity czasu · porty · kody odmowy
Dokumentacja referencyjna
Polecenia
| Zadanie | Polecenie |
|---|---|
| Włącz RCM na hoście | fbagent --cluster-init <id> |
| Otwórz lub zamknij okno parowania | fbagent --cluster-pairing on|off |
| Połącz hosty | hqbirdrcm cluster link -hosts db1,db2 -master db1 |
| Token dla hosta bez okna parowania | hqbirdrcm cluster join-token -note db2 |
| Opuść klaster | fbagent --cluster-leave |
| Opisz usługę | hqbirdrcm services put -id shop -file shop.json |
| Gdzie jest master | hqbirdrcm where -service shop |
| Planowane przeniesienie mastera | hqbirdrcm switchover -service shop [-to db2] [-check] |
| Przeniesienie awaryjne | hqbirdrcm failover -service shop -accept-data-loss |
| Przywróć starego mastera jako replikę | hqbirdrcm rejoin -service shop |
| Wyjdź ze stanu awarii | hqbirdrcm resume -service shop [-check] |
| Reguła automatycznego failover | hqbirdrcm policy -service shop -auto-failover on|off |
| Postęp i anulowanie operacji | hqbirdrcm operations show|cancel -id <id> |
Limity czasu i interwały
| Co | Domyślnie | Jak zmienić |
|---|---|---|
| Switchover: oczekiwanie na zakończenie połączeń | 120 s, maksymalnie 900 s | -quiesce-timeout |
| Switchover: replika stosuje ostatni segment | 300 s | -apply-timeout |
| Switchover: polecenie czeka na zakończenie operacji | 2 godziny | -timeout |
| Failover: replika stosuje to, co otrzymała | 60 s, maksymalnie 3600 s | -apply-timeout |
| Automatyczny failover: master milczy | 90 s | -failover-delay |
| Automatyczny failover: limit opóźnienia | 30 s | -max-data-loss |
| Automatyczny failover: pauza między dwoma | 1 godzina | -min-interval |
| Sprawdzanie warunków failover i odgrodzenia starego mastera | co 10 s | nie można zmienić |
| Zawieszony Firebird: próba połączenia | raz na minutę, limit 10 s | nie można zmienić |
| Router: odpytywanie węzła master | co 2 s | nie można zmienić |
| Okno parowania, token dołączenia | 24 godziny | okno: liczba godzin w żądaniu |
| Łączenie hostów: certyfikat agenta, uruchomienie węzła | do 10 minut, do 20 minut | nie można zmienić |
Porty
| Port | Przeznaczenie |
|---|---|
7443 | RCM: węzły, agenci i routery, mTLS. |
7444 | RCM: interfejs webowy i polecenia operatora, HTTPS. |
7450–7459 | Okno parowania agenta: 7450 + slot. |
7051–7060 | Pierwszy węzeł agenta: 7051 + slot. |
7061–7070 | Drugi węzeł agenta: 7061 + slot. |
router_port | Port usługi na routerze, na przykład 3051. |
Kody odmowy
| Kod | Znaczenie |
|---|---|
not_in_sync | Docelowa replika jest opóźniona: switchover się nie rozpoczyna. |
busy | Na węzłach trwa kopiowanie bazy danych lub promocja. |
service_busy | Na usłudze już trwa operacja. |
master_reachable | Master odpowiada: failover nie jest potrzebny. |
replica_unusable | Replika nie ma użytecznej kopii bazy danych. |
data_loss_not_accepted | Failover bez przełącznika -accept-data-loss. |
past_no_return | Anulowanie po punkcie bez powrotu. |
no_witnesses | Automatyczny failover bez routerów. |
node_port_clash | Inny członek hosta używa portu węzła. |
seats_exceeded | Klaster ma już 3 hosty. |
Najważniejsze punkty w skrócie
Częste pytania
Jaka jest różnica między switchover a failover?
Switchover jest planowany: oba hosty działają, żadne dane nie giną, stary master sam wraca jako replika. Failover jest awaryjny: host mastera jest utracony, ginie to, czego master nie wysłał, a starego mastera przywracasz osobnym poleceniem.
Co widzi aplikacja podczas switchover?
Połączenia ze starym masterem zamykają się, gdy RCM zatrzymuje zapisy. Dopóki replika nie stanie się masterem, nie ma gdzie zapisywać. Po nowej epoce aplikacja łączy się ponownie: z tym samym adresem routera lub z adresem nowego mastera.
Ile trwa switchover?
Pauza zapisu ma trzy części: oczekiwanie na zakończenie połączeń (domyślnie do 120 sekund), dogonienie ostatniego segmentu i jeden restart Firebird na nowym masterze. Ponowne dołączenie starego mastera odbywa się po tym, w tle. Jego czas to czas kopiowania bazy danych.
Czy mogę pracować bez routera?
Tak. Switchover i ręczny failover działają bez routerów. Aplikacja pobiera wtedy adres mastera z samego RCM. Automatyczny failover nie włącza się bez routerów: routery są jego świadkami.
Ile danych może utracić automatyczny failover?
Reguła nie uruchamia się, jeśli replika jest opóźniona o więcej niż 30 sekund. Ale segmenty, które master zapisał i nie wysłał, giną. Raport operacji pokazuje ich liczbę. Stary plik bazy danych jest zachowywany: te zmiany pozostają w nim i w archiwum starego mastera.
Usługa jest w stanie awarii. Co mam zrobić?
Sprawdź przyczynę na stronie Usługi. Jeśli Firebird mastera się zawiesił, uruchom go ponownie. Następnie hqbirdrcm resume -service <id> -check pokazuje, co blokuje usługę, a resume bez przełącznika przywraca usługę do pracy.
Ile miejsca wymaga ponowne dołączenie starego mastera?
Ponowne dołączenie to nowa kopia bazy danych. Obowiązują te same zasady co przy każdej kopii: 105 % rozmiaru bazy danych. Po failover stary plik pozostaje obok nowego, więc stary host potrzebuje miejsca na oba pliki.
Czy to działa na Windows?
Węzły i RCM działają na Windows i Linux. Router działa tylko na Linux.