Кластер и репликация HQbird Cluster

Мастер пишет изменения в сегменты и отправляет их на реплики по защищённому каналу. Копию базы для новой реплики узел делает сам, через nbackup, пока пользователи работают. Менеджер кластера (RCM) показывает отставание, очереди и ошибки всех узлов. Он же переносит мастер на другой хост: планово, без потери данных, или аварийно, когда хост мастера потерян.

  • Firebird 2.5 · 3 · 4 · 5
  • nbackup копия без остановки мастера
  • switchover без потери данных
  • failover вручную или по правилу
  • роутер строка подключения не меняется
  • mTLS на всех каналах

Узлы · RCM · схемы

Как устроен кластер

Рядом с каждым Firebird работает узел. У узла одна роль: мастер или реплика. Узел мастера отправляет сегменты, узел реплики принимает их, а Firebird реплики применяет их к своей копии базы.

RCM один на кластер. Он стоит на любом хосте, который видит все узлы. Узлы присылают ему статистику, а он передаёт им команды оператора. Мастер и реплику RCM связывает по GUID базы, а не по имени узла.

RCM не ставится сам. Его включают на одном хосте, когда нужен кластер. Перед приложениями можно поставить роутер: он всегда ведёт их на текущий мастер.

Схема кластера: узлы мастера отправляют сегменты узлам реплик, RCM следит за всеми узлами
КомпонентСколькоЧто делает
Firebird (HQbird)на каждом сервере базХранит базы и пишет сегменты репликации.
fbagentодин на экземпляр FirebirdОстанавливает и запускает Firebird по запросу узла.
hqclusternodeодин на экземпляр и рольНастраивает репликацию, передаёт сегменты, делает копию базы для реплики.
hqbirdrcm (RCM)один на кластерВеб-интерфейс, команды, оповещения, статистика. Ведёт switchover и failover.
Роутер (hqclusternode router)по желанию, на хосте приложений, LinuxДержит HAProxy на мастере каждого сервиса. Приложения подключаются к роутеру.
  • Главная версия совпадает5.0 на мастере, 5.0 на реплике. Иначе реплика откажет до передачи данных.
  • HQbird 2.5 и 3.0Репликация через плагин replconf. Набор таблиц задают фильтры.
  • Своя папка для каждого мастераРеплика кладёт базу в папку с именем узла мастера. Базы с одинаковыми именами от разных мастеров не мешают друг другу.
  • Без fbagent нет измененийЕсли fbagent недоступен, узел отказывает в любом действии, которое меняет конфигурацию. Он не работает «частично».
  • Узел без RCMУзел может работать сам по себе. RCM нужен для обзора и команд.
  • Сжатие каналаДля медленной сети: zstd для каждого пира, действует сразу.
  • До 3 хостов без HQCenterМесто в кластере занимает каждый хост с мастером или репликой. Четвёртый хост RCM не примет.

RCM · окно сопряжения · Link hosts · слоты

Как собрать кластер

Установка HQbird кладёт программы кластера на каждый сервер, но не включает их. RCM и окно сопряжения выключены по умолчанию. Кластер собирается в три шага: включить RCM на одном хосте, открыть окно сопряжения на остальных, связать хосты одной кнопкой.

  1. 1Включить RCMна одном хосте: в HQ Monitor или fbagent --cluster-init
  2. 2Открыть окно сопряженияна остальных хостах, на 24 часа
  3. 3Link hostsRCM находит агентов, выдаёт сертификаты и запускает узлы

Шаг 1. RCM на одном хосте

В HQ Monitor откройте раздел «Cluster on this server» и включите RCM. То же делает команда на хосте. Агент создаёт CA кластера, сертификат RCM и первого пользователя. В файрволе открываются порты 7443 и 7444.

fbagent --cluster-init <id>

При установке это же включает ключ --rcm on (Linux) или /RCM (Windows).

Шаг 2. Окно сопряжения

На каждом хосте, который войдёт в кластер, агент открывает порт сопряжения на 24 часа. Порт закрывается сам, когда окно кончается или агент вошёл в кластер.

fbagent --cluster-pairing on

То же делает кнопка в HQ Monitor. При установке: --cluster-pairing on или /DISCOVERY.

Шаг 3. Link hosts

В RCM откройте Settings → Link hosts и впишите хосты, по одному в строке. Кнопка Check hosts читает порты 7450–7459 каждого хоста. Каждый агент, который ответил, — одна строка таблицы.

  • В строке видно: порт, экземпляр, версия и порт Firebird, порт узла, отпечаток сертификата.
  • Отметьте строки флажками и выберите мастер. Строка с ошибкой не мешает остальным.
  • Link выдаёт каждому агенту сертификат, создаёт участников и связи мастер → реплика.
  • RCM ждёт сертификат агента до 10 минут и запуск узлов до 20 минут.
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1

Сверьте отпечаток в строке с тем, что показал агент на своём хосте. Так вы знаете, что связываете нужный сервер.

  • Несколько агентов на одном хостеУ каждого агента свой слот от 0 до 9. Порт сопряжения 7450 + слот, порты узлов 7051 + слот и 7061 + слот. Слот выбирает установка; ключ --pairing-port задаёт его явно.
  • Add memberСтраница Cluster предлагает свободный порт узла и отказывает в порте, который занят другим участником этого хоста.
  • Имена участников<имя хоста>-master и <имя хоста>-replica. RCM не переименовывает участника: новое имя — это новый участник.
  • Без окна сопряженияRCM выдаёт токен на один агент, на 24 часа. На новом хосте: fbagent --cluster-join с этим токеном и хэшем CA.
  • Владелец RCMАгент, который включил RCM на хосте. Второй агент этого хоста получит отказ. Если владелец удалён, fbagent --cluster-init --rcm-takeover передаёт RCM другому агенту. Кластер получает новый CA, участников нужно связать заново.
  • Выход из кластераfbagent --cluster-leave останавливает узлы, закрывает их порты и удаляет сертификаты кластера. Папки узлов остаются; --remove-data удаляет их. Агент выходит сам, если RCM отозвал его или убрал последнего участника.
  • ФайрволАгент сам открывает и закрывает свои порты кластера. Порт, который был открыт до него, он не закрывает.
  • Удаление HQbirdВладелец RCM не удаляется, пока его RCM используют другие агенты. Мастер установки спрашивает; тихий режим требует --force или /FORCE.

Страница Clusters в локальном HQ Monitor работает через агента хоста RCM. Пароль RCM для неё не нужен. Раздел «Cluster on this server» видит только администратор.

Инициализация · reinit

Новая реплика без остановки мастера

Реплика получает базу только с мастера. Узел мастера замораживает файл через nbackup -L, передаёт его частями и сразу снимает блокировку. Пользователи мастера всё это время работают: их изменения идут в .delta, а потом возвращаются в базу.

gbak и ручная копия файла не подходят. gbak меняет GUID базы, и связь мастер — реплика ломается. Копия файла работающей базы не согласована.

    Пользователи мастера

    работают

    Файлы

    • Обрыв связиПередача продолжается с последней полученной части. Недоделанная копия хранится на реплике 24 часа.
    • ОшибкаУзел снимает блокировку, удаляет недоделанный файл и ставит базе FAILED. Следующая попытка начинается с известного состояния.
    • Транзакции во время блокировкиНе теряются. Firebird 4 и 5: узел находит транзакции, открытые в момент nbackup -L, и реплика повторяет их из сегментов. HQbird 2.5 и 3.0: узел ждёт, пока такие транзакции закончатся (около минуты), иначе копия не начнётся.
    • Одна база за разПо умолчанию узел мастера копирует одну базу. Остальные ждут в очереди.
    • Другие реплики этой базыПока идёт копия, не получают сегменты этой базы. Потом догоняют.
    • Автоматическая реинициализацияRCM может сам заново скопировать базу в состоянии NEEDS_REINIT, только в заданное окно. По умолчанию выключено.

    Плавный способ ждёт длинные транзакции

    Перед блокировкой узел ищет пишущие транзакции, которые начались раньше самого старого сегмента в архиве мастера. Если архив пуст (первая копия), граница — момент, когда узел включил публикацию. Реплика не сможет повторить такие транзакции и остановится. Поэтому копия не начнётся, пока такие транзакции открыты.

    RCM покажет пять соединений с самыми старыми транзакциями: пользователь, клиент, возраст, текущий запрос. Их можно отключить и сразу повторить копию. Пока копия ждёт, архив мастера не чистится, но не дольше 1000 сегментов. Потом чистка продолжается, и RCM даёт оповещение.

    Обычный способ блокирует базу сразу, без проверки.

    Запуск копии. Способ (плавный или обычный), папка реплики с проверкой, разрешение остановить Firebird реплики.

    Место и скорость

    ГдеЧто нужно
    Мастер, том базыСвободно не меньше 105 % размера базы. Во время копии растёт .delta.
    Реплика, том базы105 % и запас тома free_space_floor_gb (по умолчанию 1 ГБ). Узел заранее резервирует полный размер; второй копии не нужно. При повторной копии старый файл лежит до конца. Если места на оба файла нет, флажок «Удалить старую реплику» удаляет старый файл до передачи.
    Скорость ночьюВ окне передачи (по умолчанию 23:00–05:00) постоянная, по умолчанию 100 МБ/с.
    Скорость днёмДоля измеренной скорости диска, по умолчанию половина. Копия, начатая днём, ночью ускорится сама.

    Место проверяется дважды и только до блокировки: сначала RCM по статистике, затем узлы живым замером на обеих сторонах. Проверку узла обойти нельзя: она защищает диск от переполнения посреди копирования.

    Firebird 4 и 5 · HQbird 2.5 и 3.0

    Публикация: какие таблицы идут на реплику

    Firebird 4 и 5 пишут в сегменты только изменения опубликованных таблиц и только при включённой публикации. Без неё изменения не попадают на реплику. Узел замечает это и даёт оповещение. Кнопка «Синхронизировать публикацию» включает её и составляет правильный список таблиц.

    Таблицы публикации. Ключ каждой таблицы и её состояние: опубликована, ещё не опубликована, исключена, нет ключа.

    Что делает синхронизация

    • включает публикацию, если оператор не выключил её сам;
    • добавляет все таблицы с первичным ключом или уникальным индексом;
    • убирает таблицы без ключа и таблицы, которые исключил оператор;
    • выключает автоматическое добавление новых таблиц.

    Без ключа реплика не найдёт строку для UPDATE и DELETE. Поэтому такую таблицу опубликовать нельзя: добавьте ключ и синхронизируйте снова.

    • Проверка каждый часЕсли публикация выключена, узел проверяет её каждые 2 минуты. У базы с репликой это оповещение.
    • Список исключенийХранится на узле мастера. При повышении реплики до мастера переходит на новый мастер.
    • Новая таблицаСама в публикацию не попадает. Создайте ключ и нажмите «Синхронизировать».
    • Копия без публикацииУзел мастера отказывает в копии базы, если публикация выключена или в ней нет таблиц (publication_off). Окно инициализации предлагает «Синхронизировать публикацию и инициализировать».
    • HQbird 2.5 и 3.0Публикаций нет. Набор таблиц задают фильтры включения и исключения в настройках репликации.

    Изменения, сделанные, пока публикация выключена или таблица исключена, на реплику не попадут и после включения. «Проверить» сравнивает только число строк, потерянные UPDATE она не найдёт. Если в базу писали, пока публикация была выключена, скопируйте базу заново.

    Отставание · архив · оповещения · сверка

    Контроль: реплика не отстаёт молча

    Узлы присылают статистику в RCM каждые 30 секунд. Для каждой пары мастер — реплика видно: последний сегмент, сколько отправлено, подтверждено и применено, очередь и отставание в секундах.

    Передача и очереди. Одна строка на путь мастер → реплика: сегменты, очередь и отставание.
    Состояние базыГруппа в RCMЧто значит
    IN_SYNCOkРеплика получила все сегменты.
    LAGGINGPendingРеплика отстаёт, сегменты в очереди.
    SEEDINGPendingИдёт копия базы на реплику.
    NEEDS_REINITErrorРеплику нужно скопировать заново.
    FAILEDErrorПоследняя копия не удалась.

    Архив мастера чистится по ступеням

    Мастер хранит отправленные сегменты, чтобы реплика могла запросить их снова. Если места мало, он удаляет сначала то, что точно не нужно.

    1. 1Применены всеми, старше срокасрок по умолчанию 2 дня
    2. 2Применены, но моложе срокаесли свободно меньше 1 ГБ; оповещение
    3. 3Ещё не примененыв последнюю очередь; реплике нужна новая копия

    Оповещения с инструкцией

    RCM знает более 20 типов оповещений, и у каждого есть инструкция, что делать. Оповещение можно подтвердить, заглушить на 60 минут или удалить. Если причина осталась, оповещение появится снова.

    Почты и webhook нет: смотрите страницу «Оповещения» или опрашивайте API RCM.

    Оповещения. Код, узел, сообщение и действия.
    КодЧто случилось
    backlog_warn / backlog_criticalНа мастере 32 / 48 неархивированных сегментов.
    apply_error, replication_stoppedРеплика не может применить сегмент.
    replication_guid_mismatchGUID базы мастера изменился: restore или замена файла.
    segment_missing, sequence_gapНарушена последовательность сегментов.
    firebird_down, firebird_log_errorFirebird не работает или пишет ошибки.
    firebird_not_answeringПорт Firebird открыт, но подключиться к базе нельзя уже минуту.
    master_publication_offУ базы с репликой выключена публикация.
    data_mismatchПериодическая сверка нашла расхождение. Сверка включается отдельно.
    Проверка данных. Число строк каждой таблицы на мастере и на реплике.

    Сверка мастера и реплики

    Проверить считает строки выбранных таблиц на мастере и на реплике и сравнивает. Содержимое строк она не сравнивает: изменённые строки она не найдёт. Запускайте в тихое время: при активной записи числа могут отличаться.

    Периодическая проверка по умолчанию выключена: COUNT(*) читает всю таблицу. Включите её параметром узла data_check_enabled, она идёт раз в 2 часа. Новые настройки проверки действуют сразу, без перезапуска узла. Проверка сравнивает данные, когда мастер и реплика стоят на одном сегменте. Расхождение даёт оповещение. Исключённая из публикации таблица показана как «not published», а не как ошибка.

    • Пауза отправкиДля одной или многих баз. После «Возобновить» отправка продолжается с последнего сегмента, без новой копии. Архив в это время растёт.
    • Логи удалённого узлаreplication.log, firebird.log и лог узла прямо в RCM, без входа на сервер.
    • Нет лицензииМастер останавливает отправку, Firebird и базы работают. После установки лицензии отправка продолжается сама в течение минуты.
    • Журнал командКаждая команда RCM записана с автором и результатом. Отчёт кластера одним JSON-файлом.

    Сервис · эпоха · где мастер

    Сервисы: одна база на нескольких хостах

    Сервис — это одна логическая база на нескольких хостах. Мастер может переходить с хоста на хост, а имя сервиса и alias базы не меняются. Приложения и роутеры спрашивают у RCM, где сейчас мастер сервиса.

    Каждая смена мастера получает следующий номер — эпоху. RCM хранит историю эпох: когда мастер сменился и почему. Сервис находится по узлу и пути к файлу, а не по GUID: при switchover GUID базы меняется, путь остаётся.

    Что описывает сервис

    • alias — имя базы в databases.conf. Новый мастер записывает его сам.
    • members — по одной записи на хост: узел мастера, узел реплики, путь к файлу, приоритет.
    • router_port — порт, на котором роутеры принимают приложения этого сервиса.
    • policy — правила автоматического failover и режим закрытия старого мастера.

    На каждом хосте сервиса работают два узла на одном Firebird: узел мастера и узел реплики. Это та же схема «Два узла на хосте», что на рисунке выше.

    Узлу мастера нужен адрес Firebird для клиентов: параметр advertise_addr. Без него RCM не скажет приложению, куда подключаться.

    Где сейчас мастер

    hqbirdrcm services put -id shop -file shop.json
    hqbirdrcm services
    hqbirdrcm where -service shop
    hqbirdrcm where -db shop

    where отвечает: хост и адрес мастера, номер эпохи, реплики и найденные проблемы. Через API приложение может ждать новую эпоху, не опрашивая RCM каждую секунду.

    Страница Services в RCM показывает то же для каждого сервиса: состояние, эпоху, мастер, адрес Firebird, реплики и проблемы. Поле Find находит базу по alias, имени сервиса, GUID или пути.

    Сервисы в браузере

    Всё, что делают команды hqbirdrcm для сервисов, есть в веб-интерфейсе RCM. Командная строка для этого не нужна.

    • Страница сервисаСостояние и его причина, мастер, реплики с отставанием, хосты и их роли, роутеры, старые мастера в очереди на закрытие, правило автоматического failover, идущая операция по шагам и история мастеров.
    • Кнопки действийSwitchover, Failover, Rejoin, Resume. Каждая сначала запускает проверку и показывает проблемы. Действие начинается только после подтверждения. Повторный щелчок не запускает вторую операцию.
    • Форма сервисаКнопка New service создаёт сервис: имя, alias, порт роутера и строка на каждый хост. Форма предлагает узлы и базы, которые они видят. Check проверяет, Save сначала показывает список изменений.
    • OperationsСтраница со всеми switchover, failover и rejoin, новые сверху. Пока операция идёт, в шапке каждой страницы стоит метка со ссылкой на неё.
    • Удаление сервисаУдаляется только запись в RCM. Окно говорит, что остаётся (базы, репликация, роли узлов, alias) и что теряется (история, правило, порт на роутерах), и просит ввести имя сервиса.
    • Роль viewerПользователь с этой ролью видит все страницы и запускает проверки, но кнопок действий у него нет.
    Состояние сервисаЧто значитЧто делать
    okМастер работает, реплика на другом хосте следует за ним.Ничего.
    rejoiningИдёт возврат старого мастера репликой.Ждать: копируется база.
    degraded_no_replicaМастер работает, реплики нет. Так бывает после failover или после ошибки возврата.hqbirdrcm rejoin
    failedRCM не может определить состояние, или Firebird мастера не отвечает.hqbirdrcm resume после проверки

    Сервис в состоянии failed не начинает ни switchover, ни автоматический failover. Из этого состояния его выводит только оператор: командой resume, возвратом (rejoin) или ручным failover.

    Плановый перенос мастера · без потери данных

    Switchover: мастер переходит на другой хост

    Switchover переносит мастер сервиса на другой хост без потери данных. RCM сам останавливает запись на старом мастере, ждёт, пока реплика применит последний сегмент, и делает её мастером. Потом старый мастер возвращается в кластер репликой нового, по тому же пути.

    Он нужен для плановых работ: обновление ОС, замена дисков, перенос нагрузки на другой сервер. Сначала проверка, потом запуск:

    hqbirdrcm switchover -service shop -check   # только проверка, ничего не меняет
    hqbirdrcm switchover -service shop -to db2  # перенос мастера на db2

    Команда ведёт операцию до конца и печатает каждый шаг. Код выхода 0 — успех. То же делает кнопка Switchover на странице сервиса в RCM: сначала проверка, потом подтверждение, потом шаги операции на экране.

      Приложения

      работают

      Хосты и сервис

      Что проверяется до начала

      • Сервис в состоянии ok, мастер известен.
      • Целевая реплика в состоянии IN_SYNC.
      • Все четыре узла двух хостов отвечают.
      • На целевой реплике нет паузы из-за лицензии.
      • На этих узлах не идёт копия базы или повышение.

      Если что-то не так, RCM отказывает и называет причину кодом. До этого момента ничего не изменилось.

      Если что-то пошло не так

      • До точки невозврата. Ошибка, тайм-аут или отмена возвращают старый мастер в онлайн. Сервис остаётся ok на старом хосте. Если старый мастер не вышел в онлайн, сервис получает failed: включите базу командой gfix -online normal и выполните resume.
      • После точки невозврата. Отмена невозможна. Ошибка ставит сервис в failed.
      • Ошибка при возврате. Новый мастер работает, реплики нет: degraded_no_replica. Запустите hqbirdrcm rejoin -service shop.
      hqbirdrcm operations show -id <id>
      hqbirdrcm operations cancel -id <id>

      В браузере это страница Operations и кнопка Cancel на странице сервиса.

      • Остановка записиСтарый мастер уходит в полный shutdown. Узел ждёт, пока соединения закончатся: по умолчанию 120 секунд, максимум 900. Ключ -force N разрывает соединения через N секунд.
      • ДочитываниеRCM каждую секунду спрашивает реплику, применила ли она последний сегмент. Лимит по умолчанию 300 секунд.
      • Один перезапуск FirebirdНа новом мастере, без ожидания окна. При возврате Firebird старого хоста перезапускается, только если это нужно узлу реплики.
      • Возврат — это копия базыНовый мастер копирует базу на старый хост через nbackup. Для большой базы это долго, поэтому команда ждёт операцию до 2 часов.
      • RCM перезапустилсяКаждый шаг записан на диск до вызова узла. После перезапуска RCM продолжает операцию с текущего шага.
      • Блокировка сервисаПока идёт switchover или возврат, RCM отказывает в других изменениях на этих узлах: настройки, перезапуск Firebird, копия, пауза отправки.

      Соединения со старым мастером закрываются на шаге остановки записи. Приложение должно подключиться снова. С роутером строка подключения остаётся прежней. Без роутера приложение идёт на адрес нового мастера: его даёт hqbirdrcm where -service shop.

      HAProxy · Linux · одна строка подключения

      Роутеры: приложения не меняют адрес

      Роутер стоит на хосте приложений и держит HAProxy на мастере каждого сервиса. Приложения подключаются к <хост роутера>:<порт сервиса>. После switchover или failover строка подключения остаётся той же.

      Схема роутера: до смены эпохи приложения идут через роутер на db1, после смены — на db2 эпоха 4 · мастер на db1 Приложения router:3051 Роутер HAProxy db1 мастер db2 реплика эпоха 5 · мастер на db2 Приложения router:3051 Роутер HAProxy db1 закрыт (fenced) db2 мастер
      Смена эпохи. Роутер сразу закрывает сессии старого мастера и открывает новый, когда тот ответил «готов». Адрес и порт для приложений не меняются.

      Как роутер выбирает хост

      • Берёт у RCM таблицу сервисов: эпоха, хост мастера, адреса Firebird.
      • Каждые 2 секунды спрашивает узел мастера: «ты мастер этой эпохи и база в онлайне?»
      • Ответ «да» — хост принимает соединения.
      • Ответ «нет» — новых соединений нет, открытые остаются.
      • Новая эпоха — сессии старого мастера закрываются сразу.

      Если RCM недоступен, роутер работает по последней таблице. Она хранится на диске роутера.

      Как добавить роутер

      Роутер — участник кластера с ролью router. Добавьте его на странице Cluster, как мастер или реплику. fbagent на этом хосте получит сертификат, напишет конфигурацию и зарегистрирует службу. HAProxy на хосте должен быть установлен.

      Порт сервиса задаёт router_port в описании сервиса. Роутеров может быть несколько: по одному на каждый хост приложений.

      Страница Settings → Routers в RCM показывает роутеры и их отчёты: какую эпоху применил роутер и на какой хост он ведёт.

      • Соединения рвутсяПри смене мастера открытые соединения закрываются. Приложение должно подключиться снова — по тому же адресу.
      • Адрес клиентаFirebird видит адрес HAProxy, а не приложения. Правила доступа по IP клиента за роутером не работают.
      • Только LinuxРоутер работает на Linux. Серверы баз могут быть на Windows и Linux.
      • СвидетелиРоутеры сообщают RCM, видят ли они порт Firebird мастера. Автоматический failover без них не включается.

      Хост мастера потерян · вручную или по правилу

      Failover: реплика берёт роль мастера

      Failover нужен, когда хост мастера не отвечает. Реплика становится мастером с теми сегментами, которые успела получить. То, что мастер не отправил, теряется. Поэтому оператор должен явно принять потерю.

      hqbirdrcm failover -service shop -check                       # что будет потеряно
      hqbirdrcm failover -service shop -to db2 -accept-data-loss  # запуск

      Без ключа -accept-data-loss команда только проверяет и показывает оценку потери: последний сегмент мастера, сколько реплика получила и применила, сколько сегментов потеряно как минимум.

      В браузере это кнопка Failover на странице сервиса. Она начинает операцию, только когда оператор отметил флажок о потере данных и ввёл имя сервиса.

      1. 1Проверкамастер не отвечает, у реплики есть годная копия
      2. 2Дочитываниереплика применяет всё, что получила; лимит 60 с
      3. 3Повышениеточка невозврата: новый GUID, перезапуск Firebird
      4. 4Новая эпохареплика — мастер; старый мастер ждёт закрытия
      • Мастер ещё отвечаетRCM отказывает: master_reachable. Запустите switchover или сначала остановите узел мастера.
      • Отстающая репликаСостояние LAGGING принимается. Реплика, которой нужна новая копия, не подходит.
      • Несколько репликПо умолчанию RCM берёт ту, что применила больше сегментов, затем ту, у которой выше приоритет.
      • После failoverСервис в состоянии degraded_no_replica: мастер работает, реплики нет. Возврата нет, пока старый хост не поднимется.
      • Сервис в состоянии failedРучной failover работает и для него. Так выходят из положения, когда Firebird мастера завис и перезапустить его быстро нельзя.
      • Исключённые таблицыRCM берёт их список с реплики или из последней статистики старого мастера. Если списка нет, задайте таблицы на странице публикации нового мастера.
      • Лимит дочитыванияКлюч -apply-timeout, по умолчанию 60 секунд, максимум 3600.

      Автоматический failover по желанию

      RCM может начать failover сам. По умолчанию это выключено. Правило включается для каждого сервиса отдельно: на странице сервиса в браузере или командой.

      hqbirdrcm policy -service shop                                     # показать правило
      hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30

      RCM проверяет условия каждые 10 секунд и начинает failover, только когда выполнены все.

      УсловиеЗачем
      Узел мастера молчит 90 секундМастер не присылает статистику.
      Прямой вызов RCM к узлу мастера не проходит (5 секунд)Это не просто опоздавшая статистика.
      Больше половины роутеров не видят порт Firebird мастераПриложения тоже не могут подключиться.
      Узел реплики не видел мастер 90 секундТретий свидетель.
      Отставание реплики не больше 30 секундГраница потери данных.
      С прошлого автоматического failover прошёл часМастер не прыгает между хостами.
      RCM работает дольше 90 секундПосле перезапуска у RCM нет свежих данных.
      Сервис ok, на узлах нет копии или повышенияНет конфликта с идущей работой.
      • Нужны роутерыПравилу нужны и роутеры, и порт сервиса. Если нет хотя бы одного, оно не включится: no_witnesses. Ставьте роутеры так, чтобы большинство было не на хосте мастера.
      • Один разПосле автоматического failover правило выключает себя. Снова его включает только оператор.
      • Почему не началсяRCM хранит причину ожидания вместе с правилом сервиса и пишет каждую новую причину в свой журнал один раз.
      • ЖурналОперация идёт от имени system:autofailover. Первая запись говорит, что видели свидетели.

      Граница 30 секунд ограничивает только очередь, которую реплика получила и ещё не применила. Сегменты, которые мастер записал, но не отправил, в неё не входят. Их число показывает отчёт операции.

      Fence · rejoin · зависший мастер · resume

      Возврат и восстановление

      После failover в кластере два файла, которые были мастером. Старый нужно закрыть, чтобы он не принимал запись, и вернуть репликой. RCM делает первое сам, второе — по команде оператора.

      Закрытие старого мастера (fence)

      RCM пробует закрыть старый мастер каждые 10 секунд. Когда его узел ответит, он получает роль «закрыт» и перестаёт отправлять сегменты. Каждое закрытие записано в журнал аудита.

      • Режим route (по умолчанию). База старого мастера остаётся в онлайне. Роутеры её уже не используют.
      • Режим shutdown. RCM сначала останавливает базу. Соединения закрываются через 5 секунд.
      hqbirdrcm policy -service shop -fence-mode shutdown

      Возврат старого мастера (rejoin)

      Когда старый хост снова работает, запустите возврат. RCM сначала закрывает старый мастер, если это ещё не сделано. Потом новый мастер копирует свою базу на старый хост, по тому же пути.

      hqbirdrcm rejoin -service shop

      Старый файл не удаляется. Он остаётся рядом как <имя>.pre-reinit-<время>.fdb. В нём и в архиве старого мастера лежат изменения, которых нет на новом мастере.

      В режиме route приложения, которые подключаются к старому хосту напрямую, а не через роутер, всё ещё могут писать в старую базу. Эти изменения не попадут на новый мастер. Если часть приложений работает без роутера, включите режим shutdown.

      Зависший мастер

      Firebird может зависнуть так, что порт открыт, а подключиться к базе нельзя. Проверка порта это не видит. Поэтому узел сам подключается к базе каждую минуту, с лимитом 10 секунд.

      • Минута без ответа — серьёзное оповещение firebird_not_answering.
      • RCM ставит сервис в failed и пишет причину: узел, хост, время.
      • Автоматический failover в этом состоянии не начинается.

      Что делать: сохраните стеки потоков Firebird и firebird.log, перезапустите Firebird на хосте мастера, затем выполните resume. Если перезапустить быстро нельзя, остановите узел мастера и запустите failover.

      Выход из состояния failed

      hqbirdrcm resume -service shop -check
      hqbirdrcm resume -service shop

      RCM напрямую спрашивает узел мастера и проверяет:

      • на сервисе не идёт операция;
      • узел мастера отвечает;
      • его Firebird принимает подключения;
      • хост — мастер текущей эпохи, база в онлайне.

      Сервис переходит в ok, если реплика другого хоста следует за мастером. Иначе — в degraded_no_replica: тогда запустите rejoin.

      Сделать обычной · повысить до мастера

      Ручное повышение реплики: по шагам

      Для базы, которая входит в сервис, используйте switchover и failover: они сами делают все шаги ниже. Ручной путь остаётся для баз без сервиса. «Сделать обычной» превращает реплику в отдельную рабочую базу: для отчётов, тестов или аварии. «Повысить до мастера» делает реплику новым мастером.

      Повышение работает для пары узлов-компаньонов: узел реплики и узел мастера на одном экземпляре Firebird. Файл базы остаётся на месте, управление переходит к компаньону. Каждый шаг виден в строке базы. Если шаг прервался, нажмите кнопку снова: выполненные шаги не повторяются.

        Соединения

        сохраняются

        Что видно в RCM

        Шаги в строке базы. Выполненные шаги зелёные, текущий красный, следующие серые.

        Зачем новый GUID

        Без него новый мастер писал бы сегменты под GUID старого мастера, и его реплики получали бы отказ. Узел даёт базе новый GUID на месте, через nbackup, без перезапуска Firebird. Способ работает на 2.5, 3.0, 4.0 и 5.0.

        После нового GUID старая цепочка nbackup не подходит. Сделайте новую копию уровня 0.

        Ручное переключение без сервиса

        1. Остановите запись приложений в старый мастер.
        2. Дождитесь IN_SYNC и пустой очереди.
        3. Нажмите «Проверить»: числа строк совпадают. Это проверка только числа строк.
        4. «Повысить до мастера», дождитесь шага FINALIZE.
        5. Переключите приложения на новый мастер.
        6. Сделайте копию nbackup уровня 0 и подключите новую реплику.

        Ручное повышение не проверяет, пишут ли приложения в старый мастер, и не возвращает старый мастер репликой. Сначала остановите запись сами. Switchover делает оба шага за вас: останавливает запись и возвращает старый мастер.

        Перезапуск · параметры · сертификаты

        Настройки и защита

        Firebird читает настройки репликации только при запуске. Поэтому важно, кто и когда его перезапускает. Правило простое: Firebird мастера никогда не перезапускается автоматически. Исключение одно — switchover и failover: там перезапуск входит в операцию, которую начал оператор или правило, которое он включил.

        УзелКто перезапускает Firebird
        МастерТолько вы. Узел мастера не перезапускает Firebird сам.
        Реплика, на том же Firebird есть базы мастераВы. Разрешение в окне копии позволяет узлу только остановить Firebird, чтобы заменить или удалить старый файл реплики.
        Реплика, автоперезапуск запрещёнВы.
        Остальные репликиУзел, в своём окне перезапуска. Один раз после серии копий, а не после каждой базы.

        Параметры репликации для многих баз

        Выберите базы: RCM соберёт их по версии Firebird и роли. Для каждого параметра выберите действие: оставить, задать, сбросить к уровню выше или не записывать. Видно, откуда взято текущее значение: от базы, от узла или от Firebird.

        Предпросмотр проверяет значения на узлах и ничего не меняет. Он же показывает, кто будет перезапускать Firebird и сколько баз это затронет.

        Параметры репликации. Подсказка к каждому ключу, значения узла и Firebird, предпросмотр: «перезапускаете вы».
        • Окна времениПерезапуск мастера, который заказали вы: 22:00–05:00. Реплика: в любое время. Ручное повышение до мастера перезапускает оба Firebird сразу, без окна. Switchover перезапускает один Firebird: на новом мастере. Полная скорость копии: 23:00–05:00.
        • Скорость сегментовПо умолчанию 50 МБ/с, кратковременный пик 200 МБ. Меняется сразу, без перезапуска.
        • Перенос файла репликиВ другую подпапку без новой копии; при ошибке откат.
        • Реплика, настроенная вручнуюЕё можно взять под управление без новой копии. RCM сопоставит файлы по GUID.
        • Командная строкаКопия, проверка, пауза, повышение и другие команды RCM есть и в hqbirdrcm. Switchover, failover и правило сервиса доступны тремя путями: в браузере, командой и через API.
        • Роль viewerПользователь RCM с ролью viewer видит всё и запускает проверки. Любое изменение ему запрещено.
        • 6 языковИнтерфейс RCM. Инструкции к оповещениям — на английском.
        Описание кластера в HQ Monitor (demo-режим). Участники и роли, связи мастер → реплика, срок сертификата каждого участника.

        Кластер описывается одним документом

        Участники, их роли и связи мастер → реплика задаются на странице Clusters в HQ Monitor или в RCM. fbagent каждого хоста получает описание, ставит и настраивает узлы сам. Без HQCenter RCM ведёт один кластер, до 3 хостов.

        mTLS и сертификаты

        Все каналы кластера защищены mTLS с общим CA. Ключ создаётся на хосте участника и не покидает его: наружу уходит только запрос сертификата. Сертификат действует 90 дней и продлевается сам за 30 дней до конца. Новый ключ и новый CA выпускаются по команде администратора.

        Веб-интерфейс RCM работает по HTTPS на порту 7444. Агент открывает этот порт в файрволе, когда на хосте включают RCM. Вход по логину и паролю; первый пароль нужно сменить. Он лежит в файле rcm-initial-password на хосте RCM и на экран не выводится. После смены пароля агент удаляет этот файл. Страница входа показывает хэш CA кластера: сравните его со строкой «CA hash» из итога установки на хосте RCM. Каждое изменение и вход пишутся в журнал аудита.

        Команды · тайм-ауты · порты · коды отказа

        Справка

        Команды

        ЗадачаКоманда
        Включить RCM на хостеfbagent --cluster-init <id>
        Открыть или закрыть окно сопряженияfbagent --cluster-pairing on|off
        Связать хостыhqbirdrcm cluster link -hosts db1,db2 -master db1
        Токен для хоста без окна сопряженияhqbirdrcm cluster join-token -note db2
        Выйти из кластераfbagent --cluster-leave
        Описать сервисhqbirdrcm services put -id shop -file shop.json
        Где мастерhqbirdrcm where -service shop
        Плановый перенос мастераhqbirdrcm switchover -service shop [-to db2] [-check]
        Аварийный переносhqbirdrcm failover -service shop -accept-data-loss
        Вернуть старый мастер репликойhqbirdrcm rejoin -service shop
        Выйти из состояния failedhqbirdrcm resume -service shop [-check]
        Правило автоматического failoverhqbirdrcm policy -service shop -auto-failover on|off
        Ход и отмена операцииhqbirdrcm operations show|cancel -id <id>

        Тайм-ауты и интервалы

        ЧтоПо умолчаниюКак изменить
        Switchover: ожидание конца соединений120 с, максимум 900 с-quiesce-timeout
        Switchover: реплика применяет последний сегмент300 с-apply-timeout
        Switchover: команда ждёт конец операции2 часа-timeout
        Failover: реплика применяет полученное60 с, максимум 3600 с-apply-timeout
        Автоматический failover: мастер молчит90 с-failover-delay
        Автоматический failover: граница отставания30 с-max-data-loss
        Автоматический failover: пауза между двумя1 час-min-interval
        Проверка условий failover и закрытия старого мастеракаждые 10 сне меняется
        Зависший Firebird: проба подключенияраз в минуту, лимит 10 сне меняется
        Роутер: опрос узла мастеракаждые 2 сне меняется
        Окно сопряжения, токен входа24 часаокно: число часов в запросе
        Link hosts: сертификат агента, запуск узловдо 10 минут, до 20 минутне меняется

        Порты

        ПортДля чего
        7443RCM: узлы, агенты и роутеры, mTLS.
        7444RCM: веб-интерфейс и команды оператора, HTTPS.
        7450–7459Окно сопряжения агента: 7450 + слот.
        7051–7060Первый узел агента: 7051 + слот.
        7061–7070Второй узел агента: 7061 + слот.
        router_portПорт сервиса на роутере, например 3051.

        Коды отказа

        КодЧто значит
        not_in_syncЦелевая реплика отстаёт: switchover не начнётся.
        busyНа узлах идёт копия базы или повышение.
        service_busyНа сервисе уже идёт операция.
        master_reachableМастер отвечает: failover не нужен.
        replica_unusableУ реплики нет годной копии базы.
        data_loss_not_acceptedFailover без ключа -accept-data-loss.
        past_no_returnОтмена после точки невозврата.
        no_witnessesАвтоматический failover без роутеров.
        node_port_clashПорт узла занят другим участником хоста.
        seats_exceededВ кластере уже 3 хоста.

        Коротко о главном

        Частые вопросы

        Чем switchover отличается от failover?

        Switchover — плановый: оба хоста работают, данные не теряются, старый мастер сам возвращается репликой. Failover — аварийный: хост мастера потерян, теряется то, что мастер не успел отправить, старый мастер возвращают отдельной командой.

        Что видит приложение во время switchover?

        Соединения со старым мастером закрываются, когда RCM останавливает запись. Пока реплика не стала мастером, писать некуда. После новой эпохи приложение подключается снова: к тому же адресу роутера или к адресу нового мастера.

        Сколько длится switchover?

        Перерыв в записи — это три части: ожидание конца соединений (до 120 секунд по умолчанию), дочитывание последнего сегмента и один перезапуск Firebird на новом мастере. Возврат старого мастера идёт после этого, в фоне. Его время — это время копии базы.

        Можно ли работать без роутера?

        Да. Switchover и ручной failover работают без роутеров. Приложение тогда само узнаёт адрес мастера у RCM. Автоматический failover без роутеров не включается: роутеры — его свидетели.

        Сколько данных можно потерять при автоматическом failover?

        Правило не сработает, если реплика отстаёт больше чем на 30 секунд. Но сегменты, которые мастер записал и не успел отправить, теряются. Отчёт операции показывает их число. Старый файл базы сохраняется: эти изменения остаются в нём и в архиве старого мастера.

        Сервис в состоянии failed. Что делать?

        Посмотрите причину на странице Services. Если завис Firebird мастера — перезапустите его. Затем hqbirdrcm resume -service <id> -check покажет, что мешает, а resume без ключа вернёт сервис в работу.

        Сколько места нужно для возврата старого мастера?

        Возврат — это новая копия базы. Действуют те же правила, что для любой копии: 105 % размера базы. После failover старый файл остаётся рядом, поэтому на старом хосте нужно место на оба файла.

        Работает ли это на Windows?

        Узлы и RCM работают на Windows и Linux. Роутер работает только на Linux.

        ← Вернуться к обзору HQbird 2027