Цю сторінку перекладено машинним перекладом. Читайте англійський оригінал. English

Кластер і реплікація HQbird Cluster

Майстер записує зміни в сегменти й надсилає їх реплікам через захищений канал. Вузол сам створює копію бази даних для нової репліки через nbackup, поки користувачі продовжують працювати. Менеджер кластера (RCM) показує відставання, черги та помилки всіх вузлів. Він також переносить майстра на інший хост: як планове переміщення, без втрати даних, або як аварійне переміщення, коли хост майстра втрачено.

  • Firebird 2.5 · 3 · 4 · 5
  • nbackup копія без зупинки майстра
  • switchover без втрати даних
  • failover вручну або за правилом
  • router рядок підключення не змінюється
  • mTLS на всіх каналах

Вузли · RCM · схеми

Як працює кластер

Вузол працює поруч із кожним Firebird. Вузол має одну роль: майстер або репліка. Вузол майстра надсилає сегменти, вузол репліки отримує їх, а Firebird репліки застосовує їх до своєї копії бази даних.

На кластер припадає один RCM. Він працює на будь-якому хості, який може дістатися до всіх вузлів. Вузли надсилають йому статистику, а він передає їм команди оператора. RCM пов'язує майстра й репліку за GUID бази даних, а не за назвою вузла.

RCM не встановлюється сам по собі. Ви вмикаєте його на одному хості, коли потрібен кластер. Ви можете поставити маршрутизатор перед застосунками: він завжди спрямовує їх до поточного майстра.

Схема кластера: вузли майстра надсилають сегменти вузлам реплік, RCM спостерігає за всіма вузлами
КомпонентСкількиЩо робить
Firebird (HQbird)на кожному сервері бази данихЗберігає бази даних і записує сегменти реплікації.
fbagentодин на екземпляр FirebirdЗупиняє й запускає Firebird, коли вузол просить.
hqclusternodeодин на екземпляр і рольНалаштовує реплікацію, надсилає сегменти, створює копію бази даних для репліки.
hqbirdrcm (RCM)один на кластерВебінтерфейс, команди, сповіщення, статистика. Виконує switchover і failover.
Router (hqclusternode router)необов'язково, на хості застосунку, LinuxТримає HAProxy спрямованим на майстра кожного сервісу. Застосунки підключаються до маршрутизатора.
  • Однакова мажорна версія5.0 на майстрі, 5.0 на репліці. Інакше репліка відмовляє ще до передавання даних.
  • HQbird 2.5 і 3.0Реплікація через плагін replconf. Фільтри визначають набір таблиць.
  • Власна тека для кожного майстраРепліка розміщує базу даних у теці, названій за вузлом майстра. Бази даних з однаковою назвою від різних майстрів не конфліктують.
  • Без fbagent — без змінЯкщо fbagent недоступний, вузол відмовляє від будь-якої дії, що змінює конфігурацію. Він не працює «частково».
  • Вузол без RCMВузол може працювати самостійно. RCM потрібен для огляду та команд.
  • Стиснення каналуДля повільної мережі: zstd для кожного вузла, набуває чинності одразу.
  • До 3 хостів без HQCenterКожен хост із майстром або реплікою займає місце в кластері. RCM не приймає четвертий хост.

RCM · вікно сполучення · Link hosts · слоти

Як побудувати кластер

Інсталятор HQbird розміщує програми кластера на кожному сервері, але не вмикає їх. RCM і вікно сполучення вимкнені за замовчуванням. Ви будуєте кластер у три кроки: увімкніть RCM на одному хості, відкрийте вікно сполучення на інших хостах, зв'яжіть хости однією кнопкою.

  1. 1Увімкніть RCMна одному хості: у HQ Monitor або командою fbagent --cluster-init
  2. 2Відкрийте вікно сполученняна інших хостах, на 24 години
  3. 3Зв'яжіть хостиRCM знаходить агентів, видає сертифікати й запускає вузли

Крок 1. RCM на одному хості

У HQ Monitor відкрийте розділ «Cluster on this server» і ввімкніть RCM. Команда на хості робить те саме. Агент створює CA кластера, сертифікат RCM і першого користувача. Порти 7443 і 7444 відкриваються в брандмауері.

fbagent --cluster-init <id>

Під час налаштування перемикач --rcm on (Linux) або /RCM (Windows) робить те саме.

Крок 2. Вікно сполучення

На кожному хості, який приєднається до кластера, агент відкриває порт сполучення на 24 години. Порт закривається сам, коли вікно завершується або коли агент приєднався до кластера.

fbagent --cluster-pairing on

Кнопка в HQ Monitor робить те саме. Під час налаштування: --cluster-pairing on або /DISCOVERY.

Крок 3. Зв'язування хостів

У RCM відкрийте Settings → Link hosts і введіть хости, по одному на рядок. Кнопка Check hosts читає порти 7450–7459 кожного хоста. Кожен агент, що відповів, — це один рядок таблиці.

  • Рядок показує: порт, інстанс, версію Firebird і порт, порт вузла, відбиток сертифіката.
  • Виберіть рядки прапорцями та виберіть майстра. Рядок з помилкою не блокує інші рядки.
  • Link видає сертифікат кожному агенту, створює учасників і зв'язки майстер → репліка.
  • RCM чекає до 10 хвилин на сертифікат агента і до 20 хвилин на запуск вузлів.
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1

Порівняйте відбиток у рядку з тим, що агент показав на своєму хості. Так ви знаєте, що зв'язуєте правильний сервер.

  • Кілька агентів на одному хостіКожен агент має власний слот від 0 до 9. Порт сполучення 7450 + слот, порти вузлів 7051 + слот і 7061 + слот. Налаштування вибирає слот; перемикач --pairing-port задає його явно.
  • Додати учасникаСторінка Cluster пропонує вільний порт вузла і відхиляє порт, який використовує інший учасник цього хоста.
  • Імена учасників<host name>-master і <host name>-replica. RCM не перейменовує учасника: нове ім'я — це новий учасник.
  • Без вікна сполученняRCM видає токен для одного агента на 24 години. На новому хості: fbagent --cluster-join з цим токеном і хешем CA.
  • Власник RCMАгент, який увімкнув RCM на хості. Другий агент на цьому хості отримує відмову. Якщо власника видалено, fbagent --cluster-init --rcm-takeover переносить RCM на іншого агента. Кластер отримує новий CA, і ви повинні знову зв'язати учасників.
  • Вихід із кластераfbagent --cluster-leave зупиняє вузли, закриває їхні порти та видаляє сертифікати кластера. Папки вузлів залишаються; --remove-data видаляє їх. Агент виходить сам, якщо RCM відкликав його або видалив його останнього учасника.
  • БрандмауерАгент сам відкриває і закриває свої порти кластера. Він не закриває порт, який був відкритий до нього.
  • Видалення HQbirdВласник RCM не видаляється, поки інші агенти використовують його RCM. Майстер налаштування запитує; тихий режим потребує --force або /FORCE.

Сторінка Clusters у локальному HQ Monitor працює через агента на хості RCM. Вона не потребує пароля RCM. Лише адміністратор бачить розділ «Cluster on this server».

Initialization · reinit

Нова репліка без зупинки майстра

Репліка отримує базу даних лише від майстра. Вузол майстра заморожує файл за допомогою nbackup -L, надсилає його частинами та одразу знімає блокування. Користувачі майстра працюють увесь час: їхні зміни потрапляють у .delta і згодом повертаються до бази даних.

gbak і ручне копіювання файлу тут не працюють. gbak змінює GUID бази даних і розриває зв'язок майстер–репліка. Копія файлу працюючої бази даних не є узгодженою.

    Користувачі майстра

    працюють

    Файли

    • Втрата з'єднанняПередавання продовжується з останньої отриманої частини. Незавершена копія залишається на репліці на 24 години.
    • ПомилкаВузол знімає блокування, видаляє незавершений файл і встановлює для бази даних стан FAILED. Наступна спроба починається з відомого стану.
    • Транзакції під час блокуванняВони не втрачаються. Firebird 4 і 5: вузол знаходить транзакції, відкриті на момент nbackup -L, і репліка повторює їх із сегментів. HQbird 2.5 і 3.0: вузол чекає завершення таких транзакцій (близько хвилини), інакше копіювання не починається.
    • Одна база даних за разЗа замовчуванням вузол майстра копіює одну базу даних. Інші чекають у черзі.
    • Інші репліки цієї бази данихПоки виконується копіювання, вони не отримують сегментів цієї бази даних. Пізніше вони наздоганяють.
    • Автоматична реініціалізаціяRCM може сам повторно скопіювати базу даних у стані NEEDS_REINIT, лише у встановленому вікні. Вимкнено за замовчуванням.

    Делікатний режим чекає на довгі транзакції

    Перед блокуванням вузол шукає транзакції запису, які почалися до найстарішого сегмента в архіві майстра. Якщо архів порожній (перше копіювання), межею є момент, коли вузол увімкнув публікацію. Репліка не може повторити такі транзакції і зупинилася б. Тому копіювання не починається, поки такі транзакції відкриті.

    RCM показує п'ять з'єднань із найстарішими транзакціями: користувач, клієнт, вік, поточний запит. Ви можете від'єднати їх і одразу повторити копіювання. Поки копіювання чекає, архів майстра не очищується, але не більше ніж на 1000 сегментів. Потім очищення продовжується, і RCM піднімає тривогу.

    Звичайний режим блокує базу даних одразу, без перевірки.

    Запуск копіювання. Режим (делікатний або звичайний), папка репліки з позначкою, дозвіл зупинити Firebird репліки.

    Місце та швидкість

    ДеЩо потрібно
    Майстер, том бази данихЩонайменше 105 % розміру бази даних вільно. .delta зростає під час копіювання.
    Репліка, том бази даних105 % плюс резерв тому free_space_floor_gb (1 ГБ за замовчуванням). Вузол резервує повний розмір заздалегідь; друга копія не потрібна. Під час повторного копіювання старий файл залишається до кінця. Якщо місця для обох файлів немає, прапорець «Remove the old replica» видаляє старий файл перед передаванням.
    Нічна швидкістьУ вікні передавання (23:00–05:00 за замовчуванням) вона стала, 100 МБ/с за замовчуванням.
    Денна швидкістьЧастка виміряної швидкості диска, половина за замовчуванням. Копіювання, розпочате вдень, уночі прискорюється саме собою.

    Місце перевіряється двічі і лише перед блокуванням: спершу RCM за статистикою, потім вузли живим вимірюванням з обох боків. Перевірку вузла не можна пропустити: вона захищає диск від заповнення посеред копіювання.

    Firebird 4 і 5 · HQbird 2.5 і 3.0

    Публікація: які таблиці потрапляють на репліку

    Firebird 4 і 5 записують у сегменти лише зміни опублікованих таблиць, і лише коли публікація увімкнена. Без неї зміни не доходять до репліки. Вузол помічає це й піднімає тривогу. Кнопка «Sync publication» вмикає її та будує правильний список таблиць.

    Таблиці публікації. Ключ кожної таблиці та її стан: опубліковано, ще не опубліковано, вилучено, без ключа.

    Що робить синхронізація

    • вмикає публікацію, якщо оператор не вимкнув її навмисно;
    • додає всі таблиці з первинним ключем або унікальним індексом;
    • вилучає таблиці без ключа та таблиці, які оператор виключив;
    • вимикає автоматичне додавання нових таблиць.

    Без ключа репліка не може знайти рядок для UPDATE і DELETE. Тож таку таблицю не можна опублікувати: додайте ключ і синхронізуйте знову.

    • Щогодинна перевіркаЯкщо публікацію вимкнено, вузол перевіряє її кожні 2 хвилини. Для бази даних із реплікою це тривога.
    • Список виключеньЗберігається на вузлі-майстрі. Коли репліку підвищують до майстра, список переходить на нового майстра.
    • Нова таблицяНе приєднується до публікації сама собою. Створіть ключ і натисніть «Sync publication».
    • Копіювання без публікаціїВузол-майстер відмовляється копіювати базу даних, якщо публікацію вимкнено або вона не має таблиць (publication_off). Вікно ініціалізації пропонує «Sync publication and initialize».
    • HQbird 2.5 і 3.0Без публікацій. Фільтри включення та виключення в налаштуваннях реплікації визначають набір таблиць.

    Зміни, зроблені, поки публікацію було вимкнено або таблицю виключено, не доходять до репліки навіть після її ввімкнення. «Verify» порівнює лише кількості рядків; він не знаходить втрачених UPDATE. Якщо в базу даних писали, поки публікацію було вимкнено, скопіюйте базу даних знову.

    Відставання · архів · тривоги · перевірка даних

    Моніторинг: репліка не відстає мовчки

    Вузли надсилають статистику до RCM кожні 30 секунд. Для кожної пари майстер–репліка ви бачите: останній сегмент, скільки надіслано, підтверджено та застосовано, чергу та відставання в секундах.

    Передавання та черги. Один рядок на шлях майстер → репліка: сегменти, черга та відставання.
    Стан бази данихГрупа в RCMЗначення
    IN_SYNCOkРепліка отримала всі сегменти.
    LAGGINGPendingРепліка відстає, сегменти в черзі.
    SEEDINGPendingБаза даних копіюється на репліку.
    NEEDS_REINITErrorРепліку потрібно скопіювати знову.
    FAILEDErrorОстаннє копіювання не вдалося.

    Архів майстра очищується поетапно

    Майстер зберігає надіслані сегменти, щоб репліка могла запитати їх знову. Якщо місця мало, він спершу видаляє те, що точно не потрібне.

    1. 1Застосовано всіма, старше за лімітліміт за замовчуванням — 2 дні
    2. 2Застосовано, але новіше за лімітякщо вільно менше 1 ГБ; тривога
    3. 3Ще не застосованояк останній крок; репліці потрібна нова копія

    Тривоги з інструкціями

    RCM знає понад 20 типів тривог, і кожен має інструкцію, що робити. Ви можете підтвердити тривогу, приглушити її на 60 хвилин або видалити. Якщо причина залишається, тривога з'являється знову.

    Немає електронної пошти чи webhook: стежте за сторінкою «Alerts» або опитуйте RCM API.

    Тривоги. Код, вузол, повідомлення та дії.
    КодЩо сталося
    backlog_warn / backlog_criticalМайстер має 32 / 48 неархівованих сегментів.
    apply_error, replication_stoppedРепліка не може застосувати сегмент.
    replication_guid_mismatchGUID бази даних майстра змінився: відновлення або заміна файлу.
    segment_missing, sequence_gapПослідовність сегментів порушена.
    firebird_down, firebird_log_errorFirebird не працює або записує помилки.
    firebird_not_answeringПорт Firebird відкритий, але з'єднання з базою даних не вдається протягом хвилини.
    master_publication_offПублікацію вимкнено для бази даних, що має репліку.
    data_mismatchПеріодична перевірка даних виявила розбіжність. Перевірка даних вмикається окремо.
    Перевірка даних. Кількість рядків кожної таблиці на майстрі та на репліці.

    Порівняння майстра та репліки

    Verify підраховує рядки вибраних таблиць на майстрі та на репліці й порівнює їх. Він не порівнює вміст рядків: змінені рядки він не знайде. Запускайте його в тихий час: під час активного запису кількості можуть відрізнятися.

    Періодична перевірка вимкнена за замовчуванням: COUNT(*) читає всю таблицю. Увімкніть її параметром вузла data_check_enabled; вона виконується раз на 2 години. Нові налаштування перевірки набувають чинності одразу, без перезапуску вузла. Перевірка порівнює дані, коли майстер і репліка перебувають на одному сегменті. Розбіжність спричиняє сповіщення. Таблиця, виключена з публікації, показується як «не публікується», а не як помилка.

    • Призупинити передаванняДля однієї або багатьох баз даних. Після «Resume» передавання продовжується з останнього сегмента, без нової копії. Тим часом архів зростає.
    • Журнали віддалених вузлівreplication.log, firebird.log і журнал вузла прямо в RCM, без входу на сервер.
    • Немає ліцензіїМайстер припиняє передавання; Firebird і бази даних продовжують працювати. Після встановлення ліцензії передавання відновлюється саме собою протягом хвилини.
    • Журнал командКожна команда RCM записується разом з її автором і результатом. Звіт кластера в одному файлі JSON.

    Сервіс · епоха · де майстер

    Сервіси: одна база даних на кількох хостах

    Сервіс — це одна логічна база даних на кількох хостах. Майстер може переміщатися з хоста на хост, але ім'я сервісу та псевдонім бази даних не змінюються. Застосунки та маршрутизатори запитують RCM, де зараз майстер сервісу.

    Кожна зміна майстра отримує наступний номер: епоху. RCM зберігає історію епох: коли майстер змінився і чому. RCM знаходить сервіс за вузлом і шляхом до файлу, а не за GUID: під час перемикання GUID бази даних змінюється, але шлях залишається тим самим.

    Що описує сервіс

    • alias: ім'я бази даних у databases.conf. Новий майстер записує його сам.
    • members: один запис на хост: вузол майстра, вузол репліки, шлях до файлу, пріоритет.
    • router_port: порт, на якому маршрутизатори приймають застосунки цього сервісу.
    • policy: правила автоматичного переходу та режим, що закриває старого майстра.

    Кожен хост сервісу запускає два вузли на одному Firebird: вузол майстра та вузол репліки. Це та сама схема «Два вузли на хост», що й на діаграмі вище.

    Вузлу майстра потрібна адреса Firebird для клієнтів: параметр advertise_addr. Без нього RCM не може сказати застосунку, куди підключатися.

    Де майстер зараз

    hqbirdrcm services put -id shop -file shop.json
    hqbirdrcm services
    hqbirdrcm where -service shop
    hqbirdrcm where -db shop

    where відповідає: хост і адреса майстра, номер епохи, репліки та виявлені проблеми. Через API застосунок може чекати на нову епоху, не опитуючи RCM щосекунди.

    Сторінка Services у RCM показує те саме для кожного сервісу: стан, епоху, майстра, адресу Firebird, репліки та проблеми. Поле Find знаходить базу даних за псевдонімом, іменем сервісу, GUID або шляхом.

    Сервіси в браузері

    Усе, що команди hqbirdrcm роблять для сервісів, також доступне у вебінтерфейсі RCM. Для цього командний рядок не потрібен.

    • Сторінка сервісуСтан та його причина, майстер, репліки з їхнім відставанням, хости та їхні ролі, маршрутизатори, старі майстри, що чекають на закриття, правило автоматичного переходу, виконувана операція крок за кроком та історія майстрів.
    • Кнопки дійSwitchover, Failover, Rejoin, Resume. Кожна кнопка спершу виконує перевірку й показує проблеми. Дія починається лише після вашого підтвердження. Друге натискання не запускає другу операцію.
    • Форма сервісуКнопка New service створює сервіс: ім'я, псевдонім, порт маршрутизатора та один рядок для кожного хоста. Форма пропонує вузли та бази даних, які вони бачать. Check перевіряє форму, Save спершу показує список змін.
    • ОпераціїСторінка з усіма перемиканнями, переходами та повторними приєднаннями, найновіші першими. Поки операція виконується, заголовок кожної сторінки має мітку з посиланням на неї.
    • Видалення сервісуВидаляється лише запис у RCM. Діалог повідомляє, що залишається (бази даних, реплікація, ролі вузлів, псевдонім), а що втрачається (історія, правило, порт на маршрутизаторах), і просить ввести ім'я сервісу.
    • Роль глядачаКористувач із цією роллю бачить усі сторінки та запускає перевірки, але не має кнопок дій.
    Стан сервісуЗначенняЩо робити
    okМайстер працює, репліка на іншому хості слідує за ним.Нічого.
    rejoiningСтарий майстер повертається як репліка.Зачекайте: база даних копіюється.
    degraded_no_replicaМайстер працює, репліки немає. Це трапляється після переходу або після помилки повторного приєднання.hqbirdrcm rejoin
    failedRCM не може визначити стан, або Firebird майстра не відповідає.hqbirdrcm resume після перевірки

    Сервіс у стані failed не запускає ні switchover, ні автоматичний failover. Лише оператор може вивести його з цього стану: командою resume, командою rejoin або ручним failover.

    Планове переміщення майстра · без втрати даних

    Switchover: майстер переміщується на інший хост

    Switchover переміщує майстра сервісу на інший хост без втрати даних. Сам RCM зупиняє записи на старому майстрі, чекає, поки репліка застосує останній сегмент, і робить її майстром. Потім старий майстер повертається до кластера як репліка нового, за тим самим шляхом.

    Він потрібен для планових робіт: оновлення ОС, заміна диска, переміщення навантаження на інший сервер. Спочатку перевірка, потім запуск:

    hqbirdrcm switchover -service shop -check   # check only, changes nothing
    hqbirdrcm switchover -service shop -to db2  # move the master to db2

    Команда виконує операцію до кінця й друкує кожен крок. Код виходу 0 означає успіх. Кнопка Switchover на сторінці сервісу в RCM робить те саме: спочатку перевірка, потім підтвердження, потім кроки операції на екрані.

      Застосунки

      працюють

      Хости та сервіс

      Що RCM перевіряє перед запуском

      • Сервіс у стані ok, майстер відомий.
      • Цільова репліка в стані IN_SYNC.
      • Усі чотири вузли обох хостів відповідають.
      • Цільова репліка не призупинена через ліцензію.
      • На цих вузлах не виконується копіювання бази даних або підвищення.

      Якщо щось не так, RCM відмовляє й наводить причину у вигляді коду. До цього моменту нічого не змінено.

      Якщо щось піде не так

      • До точки неповернення. Помилка, тайм-аут або скасування повертають старий майстер онлайн. Сервіс залишається ok на старому хості. Якщо старий майстер не повертається онлайн, сервіс отримує failed: переведіть базу даних онлайн командою gfix -online normal і виконайте resume.
      • Після точки неповернення. Скасувати неможливо. Помилка переводить сервіс у failed.
      • Помилка під час rejoin. Новий майстер працює, репліки немає: degraded_no_replica. Виконайте hqbirdrcm rejoin -service shop.
      hqbirdrcm operations show -id <id>
      hqbirdrcm operations cancel -id <id>

      У браузері це сторінка Operations і кнопка Cancel на сторінці сервісу.

      • Зупинка записівСтарий майстер переходить у повне вимкнення. Вузол чекає, поки завершаться з'єднання: 120 секунд за замовчуванням, щонайбільше 900. Перемикач -force N розриває з'єднання через N секунд.
      • НаздоганянняЩосекунди RCM запитує репліку, чи застосувала вона останній сегмент. Типове обмеження — 300 секунд.
      • Один перезапуск FirebirdНа новому майстрі, не чекаючи вікна. Під час rejoin Firebird старого хоста перезапускається, лише якщо це потрібно вузлу репліки.
      • Rejoin — це копіювання бази данихНовий майстер копіює базу даних на старий хост через nbackup. Для великої бази даних це триває довго, тому команда чекає на операцію до 2 годин.
      • RCM перезапущеноКожен крок записується на диск перед викликом вузла. Після перезапуску RCM продовжує операцію з поточного кроку.
      • Блокування сервісуПоки виконується switchover або rejoin, RCM відмовляє в інших змінах на цих вузлах: налаштування, перезапуск Firebird, копіювання, призупинення передавання.

      З'єднання зі старим майстром закриваються на кроці зупинки записів. Застосунок має підключитися знову. З маршрутизатором рядок підключення залишається тим самим. Без маршрутизатора застосунок звертається до адреси нового майстра: hqbirdrcm where -service shop надає її.

      HAProxy · Linux · один рядок підключення

      Маршрутизатори: застосунки зберігають ту саму адресу

      Маршрутизатор працює на хості застосунку й тримає HAProxy спрямованим на майстра кожного сервісу. Застосунки підключаються до <router host>:<service port>. Після switchover або failover рядок підключення залишається тим самим.

      Діаграма маршрутизатора: до зміни епохи застосунки йдуть через маршрутизатор до db1; після зміни — до db2 epoch 4 · master on db1 Застосунки router:3051 Маршрутизатор HAProxy db1 master db2 replica epoch 5 · master on db2 Застосунки router:3051 Маршрутизатор HAProxy db1 закрито (ізольовано) db2 майстер
      Зміна епохи. Маршрутизатор одразу закриває сесії старого майстра й відкриває нового майстра, щойно той відповість «готовий». Адреса та порт для застосунків не змінюються.

      Як маршрутизатор обирає хост

      • Він отримує таблицю сервісів від RCM: епоху, хост майстра, адреси Firebird.
      • Кожні 2 секунди він запитує вузол майстра: «чи ти майстер цієї епохи і чи база даних онлайн?»
      • Відповідь «так»: хост приймає з'єднання.
      • Відповідь «ні»: нових з'єднань немає, відкриті з'єднання залишаються.
      • Нова епоха: сесії старого майстра закриваються одразу.

      Якщо RCM недоступний, маршрутизатор працює з останньою таблицею. Маршрутизатор зберігає її на своєму диску.

      Як додати маршрутизатор

      Маршрутизатор — це учасник кластера з роллю router. Додайте його на сторінці Cluster, як майстра або репліку. fbagent на цьому хості отримує сертифікат, записує конфігурацію та реєструє сервіс. На хості має бути встановлений HAProxy.

      router_port в описі сервісу задає порт сервісу. Можна мати кілька маршрутизаторів: по одному на кожному хості застосунків.

      Сторінка Settings → Routers в RCM показує маршрутизатори та їхні звіти: яку епоху застосував маршрутизатор і до якого хоста він веде.

      • З'єднання розриваютьсяКоли майстер змінюється, відкриті з'єднання закриваються. Застосунок має підключитися знову, до тієї самої адреси.
      • Адреса клієнтаFirebird бачить адресу HAProxy, а не адресу застосунку. Правила доступу за IP клієнта не працюють за маршрутизатором.
      • Лише LinuxМаршрутизатор працює на Linux. Сервери баз даних можуть бути на Windows і Linux.
      • СвідкиМаршрутизатори повідомляють RCM, чи можуть вони досягти порту Firebird майстра. Без них автоматичне перемикання не вмикається.

      Хост майстра втрачено · вручну або за правилом

      Failover: репліка бере роль майстра

      Failover потрібен, коли хост майстра не відповідає. Репліка стає майстром із тими сегментами, які вона отримала. Те, що майстер не надіслав, втрачається. Тож оператор має явно прийняти втрату.

      hqbirdrcm failover -service shop -check                       # що буде втрачено
      hqbirdrcm failover -service shop -to db2 -accept-data-loss  # запуск

      Без перемикача -accept-data-loss команда лише перевіряє та показує оцінку втрат: останній сегмент майстра, скільки сегментів репліка отримала й застосувала, і скільки сегментів втрачено щонайменше.

      У браузері це кнопка Failover на сторінці сервісу. Вона запускає операцію лише тоді, коли оператор позначив поле втрати даних і ввів назву сервісу.

      1. 1Перевіркамайстер не відповідає, репліка має придатну копію
      2. 2Наздоганяннярепліка застосовує все, що отримала; ліміт 60 с
      3. 3Підвищенняточка неповернення: новий GUID, перезапуск Firebird
      4. 4Нова епохарепліка є майстром; старий майстер чекає на закриття
      • Майстер усе ще відповідаєRCM відмовляє: master_reachable. Виконайте switchover або спершу зупиніть вузол майстра.
      • Репліка відстаєСтан LAGGING приймається. Репліка, якій потрібна нова копія, не підходить.
      • Кілька реплікЗа замовчуванням RCM бере ту, що застосувала більше сегментів, а потім ту, що має вищий пріоритет.
      • Після failoverСервіс перебуває в стані degraded_no_replica: майстер працює, репліки немає. Повторного приєднання немає, доки старий хост не запрацює знову.
      • Сервіс у стані failedРучний failover працює й для нього. Це вихід, коли Firebird майстра зависає і ви не можете швидко його перезапустити.
      • Виключені таблиціRCM бере їхній список з репліки або з останньої статистики старого майстра. Якщо списку немає, задайте таблиці на сторінці публікації нового майстра.
      • Ліміт наздоганянняПеремикач -apply-timeout, 60 секунд за замовчуванням, щонайбільше 3600.

      Автоматичний failover опційно

      RCM може сам запустити failover. Це вимкнено за замовчуванням. Ви вмикаєте правило для кожного сервісу окремо: на сторінці сервісу в браузері або командою.

      hqbirdrcm policy -service shop                                     # показати правило
      hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30

      RCM перевіряє умови кожні 10 секунд і запускає failover лише тоді, коли всі вони виконуються.

      УмоваЧому
      Вузол майстра мовчить 90 секундМайстер не надсилає статистику.
      Прямий виклик від RCM до вузла майстра не вдається (5 секунд)Це не лише запізніла статистика.
      Понад половина маршрутизаторів не можуть досягти порту Firebird майстраЗастосунки теж не можуть підключитися.
      Вузол репліки не бачив майстра 90 секундТретій свідок.
      Відставання репліки становить 30 секунд або меншеЛіміт втрати даних.
      Від останнього автоматичного failover минула одна годинаМайстер не перестрибує між хостами.
      RCM працює понад 90 секундПісля перезапуску RCM не має свіжих даних.
      Сервіс у стані ok, на вузлах не виконується копіювання чи підвищенняНемає конфлікту з поточною роботою.
      • Потрібні маршрутизаториПравилу потрібні обидва маршрутизатори та порт сервісу. Якщо одного з них немає, правило не вмикається: no_witnesses. Розмістіть маршрутизатори так, щоб більшість із них не була на головному хості.
      • ОдноразовоПісля автоматичного перемикання під час відмови правило вимикає себе. Лише оператор вмикає його знову.
      • Чому воно не запустилосяRCM зберігає причину очікування разом із правилом сервісу та записує кожну нову причину до свого журналу один раз.
      • ЖурналОперація виконується як system:autofailover. Перший запис повідомляє, що бачили свідки.

      30-секундний ліміт охоплює лише чергу, яку репліка отримала й ще не застосувала. Сегменти, які головний вузол записав, але не надіслав, до неї не входять. Звіт про операцію показує їхню кількість.

      Ізоляція · повторне приєднання · завислий головний вузол · відновлення

      Повторне приєднання та відновлення

      Після перемикання під час відмови кластер має два файли, які були головними. Потрібно закрити старий, щоб він не приймав записи, і повернути його як репліку. RCM робить перше самостійно, друге — за командою оператора.

      Закриття старого головного вузла (ізоляція)

      RCM намагається закрити старий головний вузол кожні 10 секунд. Коли його вузол відповідає, він отримує роль «закритий» і припиняє надсилати сегменти. Кожна ізоляція записується до журналу аудиту.

      • Режим route (типово). База даних старого головного вузла залишається онлайн. Маршрутизатори більше не використовують її.
      • Режим shutdown. RCM спершу зупиняє базу даних. З'єднання закриваються через 5 секунд.
      hqbirdrcm policy -service shop -fence-mode shutdown

      Повернення старого головного вузла (повторне приєднання)

      Коли старий хост знову працює, запустіть повторне приєднання. RCM спершу закриває старий головний вузол, якщо це ще не зроблено. Потім новий головний вузол копіює свою базу даних на старий хост за тим самим шляхом.

      hqbirdrcm rejoin -service shop

      Старий файл не видаляється. Він залишається поруч із новим як <name>.pre-reinit-<time>.fdb. Цей файл та архів старого головного вузла містять зміни, яких немає в нового головного вузла.

      У режимі route застосунки, які підключаються до старого хоста напряму, а не через маршрутизатор, усе ще можуть писати до старої бази даних. Ці зміни не доходять до нового головного вузла. Якщо деякі застосунки працюють без маршрутизатора, увімкніть режим shutdown.

      Завислий головний вузол

      Firebird може зависнути так, що порт відкритий, але підключитися до бази даних неможливо. Перевірка порту цього не бачить. Тому сам вузол підключається до бази даних щохвилини з лімітом 10 секунд.

      • Одна хвилина без відповіді: серйозне попередження firebird_not_answering.
      • RCM переводить сервіс у стан failed і записує причину: вузол, хост, час.
      • Автоматичне перемикання під час відмови в цьому стані не запускається.

      Що робити: збережіть стеки потоків Firebird і firebird.log, перезапустіть Firebird на головному хості, потім виконайте resume. Якщо швидко перезапустити неможливо, зупиніть головний вузол і запустіть перемикання під час відмови.

      Вихід зі стану відмови

      hqbirdrcm resume -service shop -check
      hqbirdrcm resume -service shop

      RCM звертається безпосередньо до головного вузла й перевіряє:

      • на сервісі не виконується жодна операція;
      • головний вузол відповідає;
      • його Firebird приймає з'єднання;
      • хост є головним у поточній епосі, база даних онлайн.

      Сервіс переходить у стан ok, якщо репліка на іншому хості слідує за головним вузлом. Інакше він переходить у стан degraded_no_replica: тоді виконайте rejoin.

      Перетворити на звичайну · підвищити до головного вузла

      Ручне підвищення репліки: покроково

      Для бази даних, що входить до сервісу, використовуйте switchover і failover: вони самі виконують усі кроки нижче. Ручний шлях залишається для баз даних без сервісу. «Перетворити на звичайну» робить репліку окремою робочою базою даних: для звітів, тестів або збою. «Підвищити до головного вузла» робить репліку новим головним вузлом.

      Підвищення працює для пари супутніх вузлів: вузла репліки та головного вузла на тому самому екземплярі Firebird. Файл бази даних залишається на місці; керування переходить до супутника. Кожен крок видно в рядку бази даних. Якщо крок було перервано, натисніть кнопку ще раз: завершені кроки не повторюються.

        З'єднання

        збережено

        Що показує RCM

        Кроки в рядку бази даних. Завершені кроки зелені, поточний червоний, наступні сірі.

        Навіщо новий GUID

        Без нього новий головний вузол записував би сегменти під GUID старого головного вузла, і його репліки відхиляли б їх. Вузол надає базі даних новий GUID на місці, через nbackup, без перезапуску Firebird. Це працює на 2.5, 3.0, 4.0 і 5.0.

        Після нового GUID старий ланцюжок nbackup більше не підходить. Створіть нову копію рівня 0.

        Ручний switchover без сервісу

        1. Зупиніть записи застосунків до старого головного вузла.
        2. Дочекайтеся IN_SYNC та порожньої черги.
        3. Натисніть «Перевірити»: кількості рядків збігаються. Це перевіряє лише кількості рядків.
        4. «Підвищити до головного вузла», дочекайтеся кроку FINALIZE.
        5. Перемкніть застосунки на новий master.
        6. Зробіть копію рівня 0 за допомогою nbackup і підключіть нову репліку.

        Ручне підвищення не перевіряє, чи записують застосунки в старий master, і не повертає старий master як репліку. Спершу зупиніть записи самостійно. Switchover виконує обидва кроки за вас: він зупиняє записи й повертає старий master.

        Перезапуск · параметри · сертифікати

        Налаштування та безпека

        Firebird читає налаштування реплікації лише під час запуску. Тому важливо, хто його перезапускає і коли. Правило просте: Firebird на master ніколи не перезапускається автоматично. Є один виняток: switchover і failover. Там перезапуск є частиною операції, яку запустив оператор або яку запустило правило, увімкнене оператором.

        ВузолХто перезапускає Firebird
        MasterЛише ви. Вузол master не перезапускає Firebird самостійно.
        Репліка, той самий Firebird має бази даних masterВи. Дозвіл у вікні копіювання дає вузлу змогу лише зупинити Firebird, щоб замінити або видалити старий файл репліки.
        Репліка, автоматичний перезапуск не дозволеноВи.
        Інші реплікиВузол, у своєму вікні перезапуску. Один раз після серії копіювань, а не після кожної бази даних.

        Параметри реплікації для багатьох баз даних

        Виберіть бази даних: RCM групує їх за версією Firebird і роллю. Для кожного параметра виберіть дію: зберегти, встановити, скинути до рівня вище або не записувати. Ви бачите, звідки походить поточне значення: з бази даних, вузла чи Firebird.

        Preview перевіряє значення на вузлах і нічого не змінює. Він також показує, хто перезапустить Firebird і скількох баз даних це стосується.

        Параметри реплікації. Підказка для кожного ключа, значення вузла й Firebird, попередній перегляд: «ви перезапускаєте».
        • Часові вікнаПерезапуск master, який ви запросили: 22:00–05:00. Репліка: будь-коли. Ручне підвищення до master перезапускає обидва сервери Firebird одразу, без вікна. Switchover перезапускає один Firebird: на новому master. Швидкість повного копіювання: 23:00–05:00.
        • Швидкість сегмента50 МБ/с за замовчуванням, короткий пік 200 МБ. Змінюється одразу, без перезапуску.
        • Переміщення файлу реплікиДо іншої підпапки без нового копіювання; відкат у разі помилки.
        • Вручну налаштована реплікаВи можете взяти її під управління без нового копіювання. RCM зіставляє файли за GUID.
        • Командний рядокКопіювання, перевірка, пауза, підвищення та інші команди RCM також доступні в hqbirdrcm. Switchover, failover і правило сервісу доступні трьома способами: у браузері, командою та через API.
        • Роль глядачаКористувач RCM із роллю глядача бачить усе й запускає перевірки. Будь-які зміни цьому користувачеві заборонені.
        • 6 мовІнтерфейс RCM. Інструкції в оповіщеннях — англійською.
        Опис кластера в HQ Monitor (демо-режим). Учасники та ролі, зв’язки master → репліка, термін дії сертифіката кожного учасника.

        Один документ описує кластер

        Учасники, їхні ролі та зв’язки master → репліка задаються на сторінці Clusters у HQ Monitor або в RCM. fbagent на кожному хості отримує опис і сам встановлює та налаштовує вузли. Без HQCenter RCM керує одним кластером до 3 хостів.

        mTLS і сертифікати

        Усі канали кластера захищені mTLS зі спільним CA. Ключ створюється на хості учасника й ніколи його не залишає: назовні йде лише запит на сертифікат. Сертифікат дійсний 90 днів і поновлюється сам за 30 днів до закінчення терміну дії. Новий ключ і новий CA видаються за командою адміністратора.

        Веб-інтерфейс RCM працює через HTTPS на порту 7444. Агент відкриває цей порт у брандмауері, коли RCM увімкнено на хості. Вхід — за іменем користувача та паролем; перший пароль потрібно змінити. Він міститься у файлі rcm-initial-password на хості RCM і не показується на екрані. Після зміни пароля агент видаляє цей файл. Сторінка входу показує хеш CA кластера: порівняйте його з рядком «CA hash» у підсумку налаштування на хості RCM. Кожна зміна й кожен вхід записуються в журнал аудиту.

        Команди · тайм-аути · порти · коди відмови

        Довідник

        Команди

        ЗавданняКоманда
        Увімкнути RCM на хостіfbagent --cluster-init <id>
        Відкрити або закрити вікно спарюванняfbagent --cluster-pairing on|off
        Зв’язати хостиhqbirdrcm cluster link -hosts db1,db2 -master db1
        Токен для хоста без вікна спарюванняhqbirdrcm cluster join-token -note db2
        Вийти з кластераfbagent --cluster-leave
        Описати сервісhqbirdrcm services put -id shop -file shop.json
        Де розташований masterhqbirdrcm where -service shop
        Планове переміщення masterhqbirdrcm switchover -service shop [-to db2] [-check]
        Аварійне переміщенняhqbirdrcm failover -service shop -accept-data-loss
        Повернути старий master як реплікуhqbirdrcm rejoin -service shop
        Вийти зі стану збоюhqbirdrcm resume -service shop [-check]
        Правило автоматичного failoverhqbirdrcm policy -service shop -auto-failover on|off
        Прогрес і скасування операціїhqbirdrcm operations show|cancel -id <id>

        Тайм-аути та інтервали

        ЩоЗа замовчуваннямЯк змінити
        Switchover: очікування завершення з'єднань120 с, щонайбільше 900 с-quiesce-timeout
        Switchover: репліка застосовує останній сегмент300 с-apply-timeout
        Switchover: команда очікує завершення операції2 години-timeout
        Failover: репліка застосовує те, що отримала60 с, щонайбільше 3600 с-apply-timeout
        Автоматичний failover: master мовчить90 с-failover-delay
        Автоматичний failover: межа відставання30 с-max-data-loss
        Автоматичний failover: пауза між двома1 година-min-interval
        Перевірка умов failover та захисту старого masterкожні 10 сне можна змінити
        Завислий Firebird: перевірка з'єднанняраз на хвилину, обмеження 10 сне можна змінити
        Router: опитування master-вузлакожні 2 сне можна змінити
        Вікно спарювання, токен приєднання24 годинивікно: кількість годин у запиті
        Зв'язування хостів: сертифікат агента, запуск вузладо 10 хвилин, до 20 хвилинне можна змінити

        Порти

        ПортПризначення
        7443RCM: вузли, агенти та router-и, mTLS.
        7444RCM: веб-інтерфейс і команди оператора, HTTPS.
        7450–7459Вікно спарювання агента: 7450 + слот.
        7051–7060Перший вузол агента: 7051 + слот.
        7061–7070Другий вузол агента: 7061 + слот.
        router_portСервісний порт на router-і, наприклад 3051.

        Коди відмови

        КодЗначення
        not_in_syncЦільова репліка відстає: switchover не починається.
        busyНа вузлах виконується копіювання бази даних або підвищення.
        service_busyНа сервісі вже виконується операція.
        master_reachableMaster відповідає: failover не потрібен.
        replica_unusableРепліка не має придатної копії бази даних.
        data_loss_not_acceptedFailover без перемикача -accept-data-loss.
        past_no_returnСкасування після точки неповернення.
        no_witnessesАвтоматичний failover без router-ів.
        node_port_clashІнший учасник хоста використовує порт вузла.
        seats_exceededКластер уже має 3 хости.

        Головне коротко

        Часті запитання

        У чому різниця між switchover і failover?

        Switchover — плановий: обидва хости працюють, дані не втрачаються, старий master сам повертається як репліка. Failover — аварійний: master-хост втрачено, те, що master не встиг надіслати, втрачається, і ви повертаєте старий master окремою командою.

        Що бачить застосунок під час switchover?

        З'єднання зі старим master закриваються, коли RCM зупиняє записи. Доки репліка не стане master-ом, писати нікуди. Після нової епохи застосунок підключається знову: до тієї самої адреси router-а або до адреси нового master.

        Скільки триває switchover?

        Пауза запису має три частини: очікування завершення з'єднань (за замовчуванням до 120 секунд), наздоганяння останнього сегмента та один перезапуск Firebird на новому master. Повторне приєднання старого master виконується після цього, у фоновому режимі. Його час — це час копіювання бази даних.

        Чи можна працювати без router-а?

        Так. Switchover і ручний failover працюють без router-ів. Тоді застосунок отримує адресу master від самого RCM. Автоматичний failover без router-ів не вмикається: router-и — його свідки.

        Скільки даних може втратити автоматичний failover?

        Правило не запускається, якщо репліка відстає більше ніж на 30 секунд. Але сегменти, які master записав і не надіслав, втрачаються. Звіт операції показує їхню кількість. Старий файл бази даних зберігається: ці зміни залишаються в ньому та в архіві старого master.

        Сервіс у стані failed. Що робити?

        Подивіться причину на сторінці Services. Якщо Firebird на master завис, перезапустіть його. Потім hqbirdrcm resume -service <id> -check покаже, що блокує сервіс, а resume без перемикання поверне сервіс до роботи.

        Скільки місця потрібно для повторного приєднання старого master?

        Повторне приєднання — це нова копія бази даних. Діють ті самі правила, що й для будь-якої копії: 105 % розміру бази даних. Після failover старий файл залишається поруч із новим, тож старому хосту потрібне місце для обох файлів.

        Чи працює це на Windows?

        Вузли та RCM працюють на Windows і Linux. Router працює лише на Linux.

        ← Назад до огляду HQbird 2027