HQbird Cluster: кластер и репликација
Кластер и репликација HQbird Cluster
Мастер уписује измене у сегменте и шаље их репликама преко безбедног канала. Чвор сам прави копију базе за нову реплику, преко nbackup, док корисници настављају да раде. Менаџер кластера (RCM) приказује заостајање, редове и грешке свих чворова. Такође премешта мастер на други хост: као планирано премештање, без губитка података, или као хитно премештање, када је мастер хост изгубљен.
- Firebird 2.5 · 3 · 4 · 5
- nbackup копија без заустављања мастера
- switchover без губитка података
- failover ручно или по правилу
- router стринг везе се не мења
- mTLS на свим каналима
Чворови · RCM · распореди
Како кластер функционише
Чвор ради поред сваког Firebird. Чвор има једну улогу: мастер или реплика. Мастер чвор шаље сегменте, реплика чвор их прима, а Firebird реплике их примењује на своју копију базе.
Постоји један RCM по кластеру. Ради на било ком хосту који може да достигне све чворове. Чворови му шаљу статистику, а он им прослеђује операторске команде. RCM повезује мастер и реплику по GUID-у базе, а не по имену чвора.
RCM се не инсталира сам. Укључујете га на једном хосту када вам је потребан кластер. Можете поставити рутер испред апликација: он их увек шаље тренутном мастеру.
| Компонента | Колико | Шта ради |
|---|---|---|
| Firebird (HQbird) | на сваком серверу базе | Чува базе и уписује сегменте репликације. |
| fbagent | један по Firebird инстанци | Зауставља и покреће Firebird када чвор то затражи. |
| hqclusternode | један по инстанци и улози | Подешава репликацију, шаље сегменте, прави копију базе за реплику. |
| hqbirdrcm (RCM) | један по кластеру | Веб интерфејс, команде, упозорења, статистика. Извршава switchover и failover. |
| Router (hqclusternode router) | опционо, на хосту апликације, Linux | Држи HAProxy усмерен на мастер сваког сервиса. Апликације се повезују на рутер. |
- Иста главна верзија5.0 на мастеру, 5.0 на реплици. У супротном реплика одбија пре било каквог преноса података.
- HQbird 2.5 и 3.0Репликација преко replconf plugin-а. Филтери дефинишу скуп табела.
- Сопствена фасцикла за сваки мастерРеплика ставља базу у фасциклу названу по мастер чвору. Базе са истим именом од различитих мастера не долазе у сукоб.
- Нема fbagent, нема изменаАко fbagent није доступан, чвор одбија сваку радњу која мења конфигурацију. Не ради „делимично“.
- Чвор без RCMЧвор може да ради самостално. RCM је потребан за преглед и команде.
- Компресија каналаЗа спору мрежу: zstd по peer-у, ступа на снагу одмах.
- До 3 хоста без HQCenterСваки хост са мастером или репликом заузима место у кластеру. RCM не прихвата четврти хост.
RCM · прозор за упаривање · Link hosts · слотови
Како изградити кластер
HQbird инсталација ставља кластер програме на сваки сервер, али их не укључује. RCM и прозор за упаривање су подразумевано искључени. Кластер градите у три корака: укључите RCM на једном хосту, отворите прозор за упаривање на осталим хостовимa, повежите хостове једним дугметом.
- 1Укључите RCMна једном хосту: у HQ Monitor-у или са
fbagent --cluster-init - 2Отворите прозор за упаривањена осталим хостовимa, на 24 сата
- 3Повежите хостовеRCM проналази агенте, издаје сертификате и покреће чворове
Корак 1. RCM на једном хосту
У HQ Monitor-у отворите одељак „Кластер на овом серверу“ и укључите RCM. Команда на хосту ради исто. Агент креира CA кластера, RCM сертификат и првог корисника. Портови 7443 и 7444 се отварају у фајерволу.
fbagent --cluster-init <id>
Током подешавања, прекидач --rcm on (Linux) или /RCM (Windows) ради исто.
Корак 2. Прозор за упаривање
На сваком хосту који ће се придружити кластеру, агент отвара порт за упаривање на 24 сата. Порт се сам затвара када прозор истекне или када се агент придружи кластеру.
fbagent --cluster-pairing on
Дугме у HQ Monitor-у ради исто. Током подешавања: --cluster-pairing on или /DISCOVERY.
Корак 3. Повезивање хостова
У RCM-у отворите Подешавања → Повежи хостове и унесите хостове, један по линији. Дугме Провери хостове чита портове 7450–7459 сваког хоста. Сваки агент који је одговорио је један ред табеле.
- Ред приказује: порт, инстанцу, верзију и порт Firebird-а, порт ноде, отисак сертификата.
- Изаберите редове помоћу поља за потврду и одаберите мастер. Ред са грешком не блокира остале редове.
- Повежи издаје сертификат сваком агенту, креира чланове и везе мастер → реплика.
- RCM чека до 10 минута на сертификат агента и до 20 минута да се ноде покрену.
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1
Упоредите отисак у реду са оним који је агент приказао на свом хосту. Тако знате да повезујете исправан сервер.
- Више агената на једном хостуСваки агент има свој слот од 0 до 9. Порт за упаривање 7450 + слот, портови нода 7051 + слот и 7061 + слот. Подешавање бира слот; прекидач
--pairing-portга поставља експлицитно. - Додај чланаСтраница Кластер предлаже слободан порт ноде и одбија порт који користи други члан овог хоста.
- Имена чланова
<host name>-masterи<host name>-replica. RCM не преименује члана: ново име је нови члан. - Без прозора за упаривањеRCM издаје токен за једног агента, на 24 сата. На новом хосту:
fbagent --cluster-joinса овим токеном и CA хешем.
- Власник RCM-аАгент који је укључио RCM на хосту. Други агент на овом хосту добија одбијање. Ако се власник уклони,
fbagent --cluster-init --rcm-takeoverпремешта RCM на други агент. Кластер добија нови CA, и морате поново да повежете чланове. - Напуштање кластера
fbagent --cluster-leaveзауставља ноде, затвара њихове портове и брише сертификате кластера. Фасцикле нода остају;--remove-dataих брише. Агент сам одлази ако га је RCM опозвао или уклонио његовог последњег члана. - ФајерволАгент сам отвара и затвара своје портове кластера. Не затвара порт који је био отворен пре њега.
- Уклањање HQbird-аВласник RCM-а се не уклања док други агенти користе његов RCM. Чаробњак за подешавање пита; тихи режим захтева
--forceили/FORCE.
Страница Кластери у локалном HQ Monitor-у ради преко агента на RCM хосту. Не захтева RCM лозинку. Само администратор види одељак „Кластер на овом серверу“.
Иницијализација · reinit
Нова реплика без заустављања мастера
Реплика добија базу података само од мастера. Мастер нода замрзава фајл помоћу nbackup -L, шаље га у деловима и одмах уклања закључавање. Корисници мастера настављају да раде све време: њихове измене иду у .delta и касније се враћају у базу података.
gbak и ручно копирање фајла овде не раде. gbak мења GUID базе података и прекида везу мастер–реплика. Копија фајла базе података која ради није конзистентна.
Корисници мастера
Фајлови
- Губитак везеПренос се наставља од последњег примљеног дела. Недовршена копија остаје на реплици 24 сата.
- ГрешкаНода уклања закључавање, брише недовршени фајл и поставља базу података у стање FAILED. Следећи покушај почиње из познатог стања.
- Трансакције током закључавањаОне се не губе. Firebird 4 и 5: нода проналази трансакције отворене у тренутку
nbackup -L, а реплика их понавља из сегмената. HQbird 2.5 и 3.0: нода чека да се такве трансакције заврше (око минута), иначе копија не почиње.
- Једна база података одједномПодразумевано мастер нода копира једну базу података. Остале чекају у реду.
- Друге реплике ове базе податакаДок копија траје, оне не добијају сегменте ове базе података. Касније се сустижу.
- Аутоматска реиницијализацијаRCM може сам поново да копира базу података у стању NEEDS_REINIT, само у задатом прозору. Подразумевано искључено.
Нежни режим чека дуге трансакције
Пре закључавања, нода тражи трансакције писања које су почеле пре најстаријег сегмента у архиви мастера. Ако је архива празна (прва копија), граница је тренутак када је нода укључила објављивање. Реплика не може да понови такве трансакције и зауставила би се. Зато копија не почиње док су такве трансакције отворене.
RCM приказује пет веза са најстаријим трансакцијама: корисник, клијент, старост, тренутни упит. Можете их прекинути и одмах поновити копију. Док копија чека, архива мастера се не чисти, али не дуже од 1000 сегмената. Затим се чишћење наставља, а RCM подиже упозорење.
Нормални режим закључава базу података одмах, без провере.
Простор и брзина
| Где | Шта је потребно |
|---|---|
| Мастер, волумен базе података | Најмање 105 % величине базе података слободно. .delta расте током копирања. |
| Реплика, волумен базе података | 105 % плус резерва волумена free_space_floor_gb (1 GB подразумевано). Чвор резервише пуну величину унапред; друга копија није потребна. При поновљеном копирању, стари фајл остаје до краја. Ако нема простора за оба фајла, поље за потврду „Уклони стару реплику“ брише стари фајл пре преноса. |
| Ноћна брзина | У прозору преноса (23:00–05:00 подразумевано) је константна, 100 MB/s подразумевано. |
| Дневна брзина | Део измерене брзине диска, половина подразумевано. Копирање започето дању убрзава ноћу само од себе. |
Простор се проверава два пута и то само пре закључавања: прво RCM из статистике, затим чворови живим мерењем на обе стране. Провера чвора се не може прескочити: она штити диск од попуњавања усред копирања.
Firebird 4 и 5 · HQbird 2.5 и 3.0
Публикација: које табеле иду на реплику
Firebird 4 и 5 уписују у сегменте само измене објављених табела, и то само када је публикација укључена. Без ње, измене не стижу до реплике. Чвор то примећује и подиже упозорење. Дугме „Синхронизуј публикацију“ је укључује и гради исправан списак табела.
Шта синхронизација ради
- укључује публикацију, осим ако је оператер намерно искључио;
- додаје све табеле са примарним кључем или јединственим индексом;
- уклања табеле без кључа и табеле које је оператер изузео;
- искључује аутоматско додавање нових табела.
Без кључа, реплика не може да пронађе ред за UPDATE и DELETE. Зато се таква табела не може објавити: додајте кључ и синхронизујте поново.
- Сатна провераАко је публикација искључена, чвор је проверава свака 2 минута. За базу података са репликом, то је упозорење.
- Списак изузетакаЧува се на мастер чвору. Када се реплика унапреди у мастер, списак се премешта на нови мастер.
- Нова табелаНе придружује се публикацији сама од себе. Направите кључ и кликните „Синхронизуј публикацију“.
- Копирање без публикацијеМастер чвор одбија да копира базу података ако је публикација искључена или нема табела (
publication_off). Прозор за иницијализацију нуди „Синхронизуј публикацију и иницијализуј“. - HQbird 2.5 и 3.0Нема публикација. Филтери за укључивање и искључивање у подешавањима репликације дефинишу скуп табела.
Измене настале док је публикација искључена или је табела изузета не стижу до реплике, чак и након што је укључите. „Верификуј“ пореди само бројеве редова; не проналази изгубљене UPDATE-ове. Ако је база података примала уписе док је публикација била искључена, копирајте базу поново.
Заостајање · архива · упозорења · провера података
Надгледање: реплика не заостаје тихо
Чворови шаљу статистику RCM-у сваких 30 секунди. За сваки пар мастер–реплика видите: последњи сегмент, колико је послато, потврђено и примењено, ред чекања и заостајање у секундама.
| Стање базе података | Група у RCM | Значење |
|---|---|---|
IN_SYNC | Ok | Реплика је примила све сегменте. |
LAGGING | Pending | Реплика заостаје, сегменти су у реду чекања. |
SEEDING | Pending | База података се копира на реплику. |
NEEDS_REINIT | Error | Реплика мора поново да се копира. |
FAILED | Error | Последње копирање није успело. |
Мастерова архива се чисти у фазама
Мастер чува послате сегменте како би реплика могла поново да их затражи. Ако је простора мало, прво брише оно што сигурно није потребно.
- 1Примењено од свих, старије од лимитаподразумевани лимит је 2 дана
- 2Примењено, али новије од лимитаако је слободно мање од 1 GB; упозорење
- 3Још није примењенокао последњи корак; реплици је потребна нова копија
Упозорења са упутствима
RCM познаје више од 20 типова упозорења, и свако има упутство шта чинити. Упозорење можете потврдити, утишати на 60 минута или избрисати. Ако узрок остане, упозорење се поново појављује.
Нема е-поште ни webhook-а: пратите страницу „Упозорења“ или анкетирајте RCM API.
| Код | Шта се догодило |
|---|---|
backlog_warn / backlog_critical | Мастер има 32 / 48 неархивираних сегмената. |
apply_error, replication_stopped | Реплика не може да примени сегмент. |
replication_guid_mismatch | GUID мастер базе се променио: рестор или замена фајла. |
segment_missing, sequence_gap | Секвенца сегмената је прекинута. |
firebird_down, firebird_log_error | Firebird је недоступан или уписује грешке. |
firebird_not_answering | Порт Firebird-а је отворен, али је конекција ка бази неуспешна већ минут. |
master_publication_off | Публикација је искључена за базу која има реплику. |
data_mismatch | Периодична провера података је нашла разлику. Провера података се укључује посебно. |
Поређење мастера и реплике
Verify броји редове изабраних табела на мастеру и на реплици и упоређује их. Не упоређује садржај редова: неће наћи измењене редове. Покрените је у мирном периоду: под активним уписом бројеви могу да се разликују.
Периодична провера је подразумевано искључена: COUNT(*) чита целу табелу. Укључите је параметром ноде data_check_enabled; извршава се једном у 2 сата. Нова подешавања провере ступају на снагу одмах, без рестарта ноде. Провера упоређује податке када су мастер и реплика на истом сегменту. Разлика подиже упозорење. Табела искључена из публикације приказује се као „није објављена“, а не као грешка.
- Пауза слањаЗа једну или више база. Након „Resume“, слање се наставља од последњег сегмента, без нове копије. Архива у међувремену расте.
- Логови удаљених нодаreplication.log, firebird.log и лог ноде директно у RCM, без пријављивања на сервер.
- Без лиценцеМастер престаје да шаље; Firebird и базе настављају да раде. Након што инсталирате лиценцу, слање се само наставља у року од минута.
- Лог командиСвака RCM команда се бележи са аутором и резултатом. Извештај кластера у једном JSON фајлу.
Сервис · епоха · где је мастер
Сервиси: једна база на више хостова
Сервис је једна логичка база на више хостова. Мастер може да се премешта са хоста на хост, али име сервиса и алијас базе се не мењају. Апликације и рутери питају RCM где је мастер сервиса тренутно.
Свака промена мастера добија следећи број: епоху. RCM чува историју епоха: када се мастер променио и зашто. RCM проналази сервис по ноди и путањи фајла, не по GUID-у: при switchover-у GUID базе се мења, али путања остаје иста.
Шта сервис описује
- alias: име базе у
databases.conf. Нови мастер га сам уписује. - members: један унос по хосту: мастер нода, реплика нода, путања фајла, приоритет.
- router_port: порт на коме рутери прихватају апликације овог сервиса.
- policy: правила аутоматског failover-а и режим који затвара стари мастер.
Сваки хост сервиса покреће две ноде на једном Firebird-у: мастер ноду и реплика ноду. То је исти распоред „Две ноде по хосту“ као на дијаграму изнад.
Мастер ноди је потребна Firebird адреса за клијенте: параметар advertise_addr. Без њега RCM не може да каже апликацији где да се повеже.
Где је мастер сада
hqbirdrcm services put -id shop -file shop.json hqbirdrcm services hqbirdrcm where -service shop hqbirdrcm where -db shop
where одговара са: хост и адреса мастера, број епохе, реплике и пронађени проблеми. Преко API-ја, апликација може да чека нову епоху без анкетирања RCM-а сваке секунде.
Страница Services у RCM-у приказује исто за сваки сервис: стање, епоху, мастер, Firebird адресу, реплике и проблеме. Поље Find проналази базу по алијасу, имену сервиса, GUID-у или путањи.
Сервиси у прегледачу
Све што hqbirdrcm команде раде за сервисе постоји и у RCM веб интерфејсу. За то вам није потребна командна линија.
- Страница сервисаСтање и његов разлог, мастер, реплике са заостатком, хостови и њихове улоге, рутери, стари мастери који чекају затварање, правило аутоматског failover-а, операција која се извршава корак по корак и историја мастера.
- Дугмад акцијаSwitchover, Failover, Rejoin, Resume. Свако дугме прво покреће проверу и приказује проблеме. Акција почиње само након што је потврдите. Други клик не покреће другу операцију.
- Форма сервисаДугме New service креира сервис: име, алијас, порт рутера и једна линија за сваки хост. Форма нуди ноде и базе које оне виде. Check проверава форму, Save прво приказује листу промена.
- ОперацијеСтраница са свим switchover-има, failover-има и rejoin-овима, најновији први. Док операција траје, заглавље сваке странице има ознаку са линком до ње.
- Брисање сервисаБрише се само запис у RCM-у. Дијалог каже шта остаје (базе, репликација, улоге нода, алијас) и шта се губи (историја, правило, порт на рутерима), и тражи да откуцате име сервиса.
- Улога посматрачаКорисник са овом улогом види све странице и покреће провере, али нема дугмад акција.
| Стање сервиса | Значење | Шта урадити |
|---|---|---|
ok | Мастер ради, реплика на другом хосту га прати. | Ништа. |
rejoining | Стари мастер се враћа као реплика. | Сачекајте: база се копира. |
degraded_no_replica | Мастер ради, нема реплике. То се дешава након failover-а или након грешке при rejoin-у. | hqbirdrcm rejoin |
failed | RCM не може да утврди стање, или мастеров Firebird не одговара. | hqbirdrcm resume након провере |
Сервис у стању failed не покреће ни switchover ни аутоматски failover. Само оператер може да га изведе из овог стања: командом resume, са rejoin или ручним failover-ом.
Планирано премештање мастера · без губитка података
Switchover: мастер се премешта на други хост
Switchover премешта мастера сервиса на други хост без губитка података. RCM сам зауставља уписе на старом мастеру, чека док реплика не примени последњи сегмент и чини је мастером. Затим се стари мастер враћа у кластер као реплика новог, на истој путањи.
Потребан вам је за планиране радове: ажурирање ОС-а, замену диска, премештање оптерећења на други сервер. Прво провера, затим покретање:
hqbirdrcm switchover -service shop -check # check only, changes nothing hqbirdrcm switchover -service shop -to db2 # move the master to db2
Команда извршава операцију до краја и исписује сваки корак. Излазни код 0 значи успех. Дугме Switchover на страници сервиса у RCM ради исто: прво провера, затим потврда, затим кораци операције на екрану.
Апликације
Хостови и сервис
Шта RCM проверава пре покретања
- Сервис је у стању
ok, мастер је познат. - Циљна реплика је у стању
IN_SYNC. - Сва четири чвора на два хоста одговарају.
- Циљна реплика није паузирана због лиценце.
- Ниједна копија базе нити промоција не ради на овим чворовима.
Ако нешто није у реду, RCM одбија и наводи разлог као код. До овог тренутка ништа није промењено.
Ако нешто пође наопако
- Пре тачке без повратка. Грешка, истек времена или отказивање враћају стари мастер у рад. Сервис остаје
okна старом хосту. Ако се стари мастер не врати у рад, сервис прелази уfailed: вратите базу у рад саgfix -online normalи покренитеresume. - После тачке без повратка. Не можете да откажете. Грешка поставља сервис у
failed. - Грешка током rejoin-а. Нови мастер ради, нема реплике:
degraded_no_replica. Покренитеhqbirdrcm rejoin -service shop.
hqbirdrcm operations show -id <id> hqbirdrcm operations cancel -id <id>
У прегледачу, то је страница Operations и дугме Cancel на страници сервиса.
- Заустављање уписаСтари мастер прелази у потпуно гашење. Чвор чека док се везе не заврше: подразумевано 120 секунди, највише 900. Прекидач
-force Nпрекида везе после N секунди. - СтизањеСваке секунде RCM пита реплику да ли је применила последњи сегмент. Подразумевано ограничење је 300 секунди.
- Један рестарт Firebird-аНа новом мастеру, без чекања на прозор. Током rejoin-а, Firebird старог хоста се рестартује само ако је то потребно чвору реплике.
- Rejoin је копија базеНови мастер копира базу на стари хост преко nbackup. За велику базу то дуго траје, па команда чека на операцију до 2 сата.
- RCM је рестартованСваки корак се записује на диск пре позива чвора. Након рестарта, RCM наставља операцију од тренутног корака.
- Закључавање сервисаДок траје switchover или rejoin, RCM одбија друге измене на овим чворовима: подешавања, рестарт Firebird-а, копирање, паузу преноса.
Везе ка старом мастеру се затварају у кораку заустављања уписа. Апликација мора поново да се повеже. Са рутером, стринг за повезивање остаје исти. Без рутера, апликација иде на адресу новог мастера: hqbirdrcm where -service shop је даје.
HAProxy · Linux · један стринг за повезивање
Рутери: апликације задржавају исту адресу
Рутер ради на хосту апликације и држи HAProxy усмерен на мастера сваког сервиса. Апликације се повезују на <router host>:<service port>. Након switchover-а или failover-а, стринг за повезивање остаје исти.
Како рутер бира домаћина
- Добија сервисну табелу од RCM: епоха, мастер домаћин, Firebird адресе.
- Сваке 2 секунде пита мастер чвор: „да ли си мастер ове епохе и да ли је база података онлајн?“
- Одговор „да“: домаћин прихвата конекције.
- Одговор „не“: нема нових конекција, отворене конекције остају.
- Нова епоха: сесије старог мастера се одмах затварају.
Ако RCM није доступан, рутер ради са последњом табелом. Рутер је чува на свом диску.
Како додати рутер
Рутер је члан кластера са улогом router. Додајте га на страници Cluster, као мастер или реплику. fbagent на овом домаћину добија сертификат, уписује конфигурацију и региструје сервис. HAProxy мора бити инсталиран на домаћину.
router_port у опису сервиса одређује порт сервиса. Можете имати неколико рутера: по један на сваком домаћин апликације.
Страница Settings → Routers у RCM приказује рутере и њихове извештаје: коју епоху је рутер применио и на који домаћин води.
- Конекције се прекидајуКада се мастер промени, отворене конекције се затварају. Апликација мора поново да се повеже, на исту адресу.
- Адреса клијентаFirebird види HAProxy адресу, не адресу апликације. Правила приступа по IP-у клијента не раде иза рутера.
- Само LinuxРутер ради на Linux-у. Сервери базе података могу бити на Windows-у и Linux-у.
- СведоциРутери обавештавају RCM да ли могу да достигну Firebird порт мастера. Аутоматски failover се не укључује без њих.
Мастер домаћин изгубљен · ручно или по правилу
Failover: реплика преузима улогу мастера
Failover је потребан када мастер домаћин не одговара. Реплика постаје мастер са сегментима које је примила. Оно што мастер није послао је изгубљено. Зато оператер мора експлицитно да прихвати губитак.
hqbirdrcm failover -service shop -check # шта ће бити изгубљено hqbirdrcm failover -service shop -to db2 -accept-data-loss # покрени
Без прекидача -accept-data-loss, команда само проверава и приказује процену губитка: последњи сегмент мастера, колико је сегмената реплика примила и применила, и колико је сегмената најмање изгубљено.
У прегледачу, то је дугме Failover на страници сервиса. Оно покреће операцију само када је оператер штиклирао поље за губитак података и унео назив сервиса.
- 1Проверамастер не одговара, реплика има употребљиву копију
- 2Стизањереплика примењује све што је примила; ограничење 60 s
- 3Промоцијатачка без повратка: нови GUID, поновно покретање Firebird-а
- 4Нова епохареплика је мастер; стари мастер чека да буде затворен
- Мастер још одговараRCM одбија:
master_reachable. Извршите switchover, или прво зауставите мастер чвор. - Реплика која заостајеСтање
LAGGINGсе прихвата. Реплика којој је потребна нова копија није погодна. - Неколико репликаПодразумевано, RCM узима ону која је применила више сегмената, затим ону са вишим приоритетом.
- После failover-аСервис је у стању
degraded_no_replica: мастер ради, нема реплике. Нема поновног придруживања док стари домаћин поново не буде доступан. - Сервис у стању неуспехаРучни failover ради и за њега. То је излаз када Firebird мастера хангтује и не можете брзо да га поново покренете.
- Искључене табелеRCM узима њихов списак из реплике или из последње статистике старог мастера. Ако нема списка, подесите табеле на страници публикације новог мастера.
- Ограничење стизањаПрекидач
-apply-timeout, подразумевано 60 секунди, највише 3600.
Аутоматски failover опционо
RCM може сам да покрене failover. То је подразумевано искључено. Правило укључујете за сваки сервис посебно: на страници сервиса у прегледачу или командом.
hqbirdrcm policy -service shop # прикажи правило
hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30
RCM проверава услове сваких 10 секунди и покреће failover само када су сви они тачни.
| Услов | Зашто |
|---|---|
| Мастер чвор ћути 90 секунди | Мастер не шаље статистику. |
| Директан позив од RCM до мастер чвора не успева (5 секунди) | Није само касна статистика. |
| Више од половине рутера не може да достигне Firebird порт мастера | Ни апликације не могу да се повежу. |
| Реплика чвор није видео мастера 90 секунди | Трећи сведок. |
| Заостајање реплике је 30 секунди или мање | Ограничење губитка података. |
| Прошло је један сат од последњег аутоматског failover-а | Мастер не скаче између домаћина. |
| RCM ради дуже од 90 секунди | После поновног покретања, RCM нема свеже податке. |
Сервис је ok, на чворовима не раде копирање или промоција | Нема конфликта са радом који је у току. |
- Потребни су рутериПравило захтева и рутере и сервисни порт. Ако један од њих недостаје, правило се не укључује:
no_witnesses. Поставите рутере тако да већина њих није на мастер хосту. - Само једномНакон аутоматског пребацивања, правило се само искључује. Поново га укључује само оператер.
- Зашто није почелоRCM чува разлог чекања заједно са сервисним правилом и сваки нови разлог уписује у свој лог само једном.
- ЛогОперација се извршава као
system:autofailover. Први унос каже шта су витнес чворови видели.
Ограничење од 30 секунди покрива само ред који је реплика примила и још није применила. Сегменти које је мастер уписао али није послао нису у њему. Извештај операције приказује њихов број.
Ограђивање · поновно придруживање · заглављен мастер · наставак
Поновно придруживање и опоравак
Након пребацивања, кластер има два фајла који су били мастер. Морате затворити стари тако да не прихвата уписе и вратити га као реплику. RCM прво ради сам, друго на оператерску команду.
Затварање старог мастера (ограђивање)
RCM покушава да затвори стари мастер сваких 10 секунди. Када његов чвор одговори, добија улогу „затворен“ и престаје да шаље сегменте. Свако ограђивање се уписује у ревизијски лог.
- Режим
route(подразумевано). База старог мастера остаје онлајн. Рутери је више не користе. - Режим
shutdown. RCM прво зауставља базу. Везе се затварају након 5 секунди.
hqbirdrcm policy -service shop -fence-mode shutdown
Враћање старог мастера (поновно придруживање)
Када стари хост поново проради, покрените поновно придруживање. RCM прво затвара стари мастер, ако то још није учињено. Затим нови мастер копира своју базу на стари хост, на исту путању.
hqbirdrcm rejoin -service shop
Стари фајл се не брише. Остаје поред новог као <name>.pre-reinit-<time>.fdb. Овај фајл и архива старог мастера садрже измене које нови мастер нема.
У режиму route, апликације које се повезују директно на стари хост, а не преко рутера, и даље могу да пишу у стару базу. Те измене не стижу до новог мастера. Ако неке апликације раде без рутера, укључите режим shutdown.
Заглављен мастер
Firebird може да се заглави тако да је порт отворен, али не можете да се повежете на базу. Провера порта то не види. Зато се сам чвор повезује на базу сваког минута, са ограничењем од 10 секунди.
- Један минут без одговора: озбиљно упозорење
firebird_not_answering. - RCM поставља сервис на
failedи уписује разлог: чвор, хост, време. - Аутоматско пребацивање се не покреће у овом стању.
Шта учинити: сачувајте стекове Firebird нити и firebird.log, поново покрените Firebird на мастер хосту, затим извршите resume. Ако не можете брзо да га поново покренете, зауставите мастер чвор и покрените пребацивање.
Излазак из стања неуспеха
hqbirdrcm resume -service shop -check hqbirdrcm resume -service shop
RCM пита мастер чвор директно и проверава:
- на сервису не ради ниједна операција;
- мастер чвор одговара;
- његов Firebird прихвата везе;
- хост је мастер тренутне епохе, база је онлајн.
Сервис прелази у ok ако реплика на другом хосту прати мастер. У супротном прелази у degraded_no_replica: тада извршите rejoin.
Прелазак у нормално стање · промоција у мастер
Ручна промоција реплике: корак по корак
За базу која је део сервиса, користите switchover и failover: они сами раде све кораке испод. Ручни пут остаје за базе без сервиса. „Прелазак у нормално стање“ чини реплику засебном радном базом: за извештаје, тестове или отказ. „Промоција у мастер“ чини реплику новим мастером.
Промоција ради за пар компаньон чворова: реплика чвор и мастер чвор на истој Firebird инстанци. Фајл базе остаје на месту; контрола прелази на компаньона. Сваки корак је видљив у реду базе. Ако је корак прекинут, кликните поново на дугме: завршени кораци се не понављају.
Везе
Шта RCM приказује
Зашто нови GUID
Без њега, нови мастер би писао сегменте под GUID-ом старог мастера, а његове реплике би их одбиле. Чвор даје бази нови GUID на месту, преко nbackup, без поновног покретања Firebird-а. Ово ради на 2.5, 3.0, 4.0 и 5.0.
Након новог GUID-а, стари nbackup ланац више не одговара. Направите нову копију нивоа 0.
Ручни switchover без сервиса
- Зауставите уписе апликација на стари мастер.
- Сачекајте
IN_SYNCи празан ред. - Кликните „Верификуј“: бројеви редова се поклапају. Ово проверава само бројеве редова.
- „Промоција у мастер“, сачекајте корак FINALIZE.
- Пребаците апликације на нови мастер.
- Направите nbackup копију нивоа 0 и повежите нову реплику.
Ручно унапређење не проверава да ли апликације пишу на стари мастер и не враћа стари мастер као реплику. Прво сами зауставите упис. Switchover ради оба корака уместо вас: зауставља упис и враћа стари мастер.
Рестарт · параметри · сертификати
Подешавања и безбедност
Firebird чита подешавања репликације само при покретању. Зато је важно ко га рестартује и када. Правило је једноставно: Firebird на мастеру се никада не рестартује аутоматски. Постоји један изузетак: switchover и failover. Ту је рестарт део операције коју је покренуо оператер или коју је покренуло правило које је оператер укључио.
| Чвор | Ко рестартује Firebird |
|---|---|
| Мастер | Само ви. Мастер чвор не рестартује Firebird сам од себе. |
| Реплика, исти Firebird има мастер базе | Ви. Дозвола у прозору за копирање омогућава чвору само да заустави Firebird ради замене или брисања старе датотеке реплике. |
| Реплика, аутоматски рестарт није дозвољен | Ви. |
| Остале реплике | Чвор, у свом прозору за рестарт. Једном после низа копија, не после сваке базе. |
Параметри репликације за много база
Изаберите базе: RCM их групише по верзији Firebird и улози. За сваки параметар изаберите радњу: задржи, постави, ресетуј на ниво изнад или не упиши. Видите одакле долази тренутна вредност: из базе, чвора или Firebird-а.
Preview проверава вредности на чворовима и ништа не мења. Такође показује ко ће рестартовати Firebird и на колико база то утиче.
- Временски прозориРестарт мастера који сте затражили: 22:00–05:00. Реплика: било када. Ручно унапређење у мастер рестартује оба Firebird сервера одједном, без прозора. Switchover рестартује један Firebird: на новом мастеру. Брзина пуне копије: 23:00–05:00.
- Брзина сегментаПодразумевано 50 MB/s, кратак пик 200 MB. Мења се одмах, без рестарта.
- Премештање датотеке репликеУ други подфолдер без нове копије; враћање на старо стање у случају грешке.
- Ручно конфигурисана репликаМожете је преузети под управљање без нове копије. RCM повезује датотеке по GUID-у.
- Командна линијаКопирање, провера, пауза, унапређење и друге RCM команде су такође у
hqbirdrcm. Switchover, failover и правило сервиса доступни су на три начина: у прегледачу, командом и преко API-ја. - Улога гледаоцаRCM корисник са улогом гледаоца види све и покреће провере. Овом кориснику је забрањена свака измена.
- 6 језикаRCM интерфејс. Упутства за упозорења су на енглеском.
Један документ описује кластер
Чланови, њихове улоге и везе мастер → реплика подешавају се на страници Clusters у HQ Monitor-у или у RCM-у. fbagent на сваком хосту добија опис и сам инсталира и конфигурише чворове. Без HQCenter-а, RCM управља једним кластером од највише 3 хоста.
mTLS и сертификати
Сви канали кластера заштићени су mTLS-ом са заједничким CA. Кључ се ствара на хосту члана и никада га не напушта: напоље иде само захтев за сертификат. Сертификат важи 90 дана и сам се обнавља 30 дана пре истека. Нови кључ и нови CA издају се на администраторову команду.
RCM веб интерфејс ради преко HTTPS-а на порту 7444. Агент отвара овај порт у заштитном зиду када се RCM укључи на хосту. Пријава је корисничким именом и лозинком; прву лозинку морате променити. Налази се у датотеци rcm-initial-password на RCM хосту и не приказује се на екрану. Након промене лозинке, агент брише ову датотеку. Страница за пријаву приказује хеш CA кластера: упоредите га са линијом „CA hash“ у резимеу подешавања на RCM хосту. Свака измена и пријава уписују се у ревизијски дневник.
Команде · временска ограничења · портови · кодови одбијања
Референца
Команде
| Задатак | Команда |
|---|---|
| Укључи RCM на хосту | fbagent --cluster-init <id> |
| Отвори или затвори прозор за упаривање | fbagent --cluster-pairing on|off |
| Повежи хостове | hqbirdrcm cluster link -hosts db1,db2 -master db1 |
| Токен за хост без прозора за упаривање | hqbirdrcm cluster join-token -note db2 |
| Напусти кластер | fbagent --cluster-leave |
| Опиши сервис | hqbirdrcm services put -id shop -file shop.json |
| Где је мастер | hqbirdrcm where -service shop |
| Планирано премештање мастера | hqbirdrcm switchover -service shop [-to db2] [-check] |
| Хитно премештање | hqbirdrcm failover -service shop -accept-data-loss |
| Врати стари мастер као реплику | hqbirdrcm rejoin -service shop |
| Изађи из стања неуспеха | hqbirdrcm resume -service shop [-check] |
| Правило аутоматског failover-а | hqbirdrcm policy -service shop -auto-failover on|off |
| Напредак и отказивање операције | hqbirdrcm operations show|cancel -id <id> |
Временска ограничења и интервали
| Шта | Подразумевано | Како променити |
|---|---|---|
| Switchover: чекање да се везе заврше | 120 s, највише 900 s | -quiesce-timeout |
| Switchover: реплика примењује последњи сегмент | 300 s | -apply-timeout |
| Switchover: команда чека крај операције | 2 сата | -timeout |
| Failover: реплика примењује оно што је примила | 60 s, највише 3600 s | -apply-timeout |
| Аутоматски failover: мастер не одговара | 90 s | -failover-delay |
| Аутоматски failover: ограничење заостајања | 30 s | -max-data-loss |
| Аутоматски failover: пауза између два | 1 сат | -min-interval |
| Провера услова за failover и ограде старог мастера | сваких 10 s | не може се променити |
| Заглављени Firebird: провера везе | једном у минути, ограничење 10 s | не може се променити |
| Router: анкетирање мастер чвора | сваких 2 s | не може се променити |
| Прозор за упаривање, join token | 24 сата | прозор: број сати у захтеву |
| Повезивање host-ова: сертификат агента, покретање чвора | до 10 минута, до 20 минута | не може се променити |
Портови
| Порт | Намена |
|---|---|
7443 | RCM: чворови, агенти и рутери, mTLS. |
7444 | RCM: веб интерфејс и оператерске команде, HTTPS. |
7450–7459 | Прозор за упаривање агента: 7450 + слот. |
7051–7060 | Први чвор агента: 7051 + слот. |
7061–7070 | Други чвор агента: 7061 + слот. |
router_port | Сервисни порт на рутеру, на пример 3051. |
Кодови одбијања
| Код | Значење |
|---|---|
not_in_sync | Циљна реплика заостаје: switchover не почиње. |
busy | Копија базе или промоција се извршава на чворовима. |
service_busy | Операција већ ради на сервису. |
master_reachable | Мастер одговара: failover није потребан. |
replica_unusable | Реплика нема употребљиву копију базе. |
data_loss_not_accepted | Failover без прекидача -accept-data-loss. |
past_no_return | Отказивање након тачке без повратка. |
no_witnesses | Аутоматски failover без рутера. |
node_port_clash | Други члан host-а користи порт чвора. |
seats_exceeded | Кластер већ има 3 host-а. |
Главне тачке укратко
Честа питања
Која је разлика између switchover-а и failover-а?
Switchover је планиран: оба host-а раде, ниједан податак се не губи, стари мастер се сам враћа као реплика. Failover је ванредна ситуација: мастер host је изгубљен, губи се оно што мастер није послао, а стари мастер враћате посебном командом.
Шта апликација види током switchover-а?
Везе са старим мастером се затварају када RCM заустави уписе. Док реплика не постане мастер, нема где да се пише. Након нове епохе, апликација се поново повезује: на исту адресу рутера или на адресу новог мастера.
Колико траје switchover?
Пауза у писању има три дела: чекање да се везе заврше (подразумевано до 120 секунди), достизање последњег сегмента и једно поновно покретање Firebird-а на новом мастеру. Поновно придруживање старог мастера се извршава након тога, у позадини. Његово време је време копирања базе.
Могу ли да радим без рутера?
Да. Switchover и ручни failover раде без рутера. Апликација тада добија адресу мастера од самог RCM-а. Аутоматски failover се не укључује без рутера: рутери су његови сведоци.
Колико података може изгубити аутоматски failover?
Правило се не покреће ако реплика заостаје више од 30 секунди. Али сегменти које је мастер уписао и није послао се губе. Извештај операције показује њихов број. Стара датотека базе се чува: те измене остају у њој и у архиви старог мастера.
Сервис је у стању failed. Шта да радим?
Погледајте разлог на страници Services. Ако се Firebird мастера заглављио, поново га покрените. Затим hqbirdrcm resume -service <id> -check показује шта блокира сервис, а resume без прекидача враћа сервис у рад.
Колико простора захтева поновно придруживање старог мастера?
Поновно придруживање је нова копија базе. Важе иста правила као за сваку копију: 105 % величине базе. Након failover-а, стара датотека остаје поред нове, тако да стари host захтева простор за обе датотеке.
Да ли ради на Windows-у?
Чворови и RCM раде на Windows-у и Linux-у. Рутер ради само на Linux-у.