Кластер и репликация HQbird Cluster
Кластер и репликация HQbird Cluster
Мастер пишет изменения в сегменты и отправляет их на реплики по защищённому каналу. Копию базы для новой реплики узел делает сам, через nbackup, пока пользователи работают. Менеджер кластера (RCM) показывает отставание, очереди и ошибки всех узлов. Он же переносит мастер на другой хост: планово, без потери данных, или аварийно, когда хост мастера потерян.
- Firebird 2.5 · 3 · 4 · 5
- nbackup копия без остановки мастера
- switchover без потери данных
- failover вручную или по правилу
- роутер строка подключения не меняется
- mTLS на всех каналах
Узлы · RCM · схемы
Как устроен кластер
Рядом с каждым Firebird работает узел. У узла одна роль: мастер или реплика. Узел мастера отправляет сегменты, узел реплики принимает их, а Firebird реплики применяет их к своей копии базы.
RCM один на кластер. Он стоит на любом хосте, который видит все узлы. Узлы присылают ему статистику, а он передаёт им команды оператора. Мастер и реплику RCM связывает по GUID базы, а не по имени узла.
RCM не ставится сам. Его включают на одном хосте, когда нужен кластер. Перед приложениями можно поставить роутер: он всегда ведёт их на текущий мастер.
| Компонент | Сколько | Что делает |
|---|---|---|
| Firebird (HQbird) | на каждом сервере баз | Хранит базы и пишет сегменты репликации. |
| fbagent | один на экземпляр Firebird | Останавливает и запускает Firebird по запросу узла. |
| hqclusternode | один на экземпляр и роль | Настраивает репликацию, передаёт сегменты, делает копию базы для реплики. |
| hqbirdrcm (RCM) | один на кластер | Веб-интерфейс, команды, оповещения, статистика. Ведёт switchover и failover. |
| Роутер (hqclusternode router) | по желанию, на хосте приложений, Linux | Держит HAProxy на мастере каждого сервиса. Приложения подключаются к роутеру. |
- Главная версия совпадает5.0 на мастере, 5.0 на реплике. Иначе реплика откажет до передачи данных.
- HQbird 2.5 и 3.0Репликация через плагин replconf. Набор таблиц задают фильтры.
- Своя папка для каждого мастераРеплика кладёт базу в папку с именем узла мастера. Базы с одинаковыми именами от разных мастеров не мешают друг другу.
- Без fbagent нет измененийЕсли fbagent недоступен, узел отказывает в любом действии, которое меняет конфигурацию. Он не работает «частично».
- Узел без RCMУзел может работать сам по себе. RCM нужен для обзора и команд.
- Сжатие каналаДля медленной сети: zstd для каждого пира, действует сразу.
- До 3 хостов без HQCenterМесто в кластере занимает каждый хост с мастером или репликой. Четвёртый хост RCM не примет.
RCM · окно сопряжения · Link hosts · слоты
Как собрать кластер
Установка HQbird кладёт программы кластера на каждый сервер, но не включает их. RCM и окно сопряжения выключены по умолчанию. Кластер собирается в три шага: включить RCM на одном хосте, открыть окно сопряжения на остальных, связать хосты одной кнопкой.
- 1Включить RCMна одном хосте: в HQ Monitor или
fbagent --cluster-init - 2Открыть окно сопряженияна остальных хостах, на 24 часа
- 3Link hostsRCM находит агентов, выдаёт сертификаты и запускает узлы
Шаг 1. RCM на одном хосте
В HQ Monitor откройте раздел «Cluster on this server» и включите RCM. То же делает команда на хосте. Агент создаёт CA кластера, сертификат RCM и первого пользователя. В файрволе открываются порты 7443 и 7444.
fbagent --cluster-init <id>
При установке это же включает ключ --rcm on (Linux) или /RCM (Windows).
Шаг 2. Окно сопряжения
На каждом хосте, который войдёт в кластер, агент открывает порт сопряжения на 24 часа. Порт закрывается сам, когда окно кончается или агент вошёл в кластер.
fbagent --cluster-pairing on
То же делает кнопка в HQ Monitor. При установке: --cluster-pairing on или /DISCOVERY.
Шаг 3. Link hosts
В RCM откройте Settings → Link hosts и впишите хосты, по одному в строке. Кнопка Check hosts читает порты 7450–7459 каждого хоста. Каждый агент, который ответил, — одна строка таблицы.
- В строке видно: порт, экземпляр, версия и порт Firebird, порт узла, отпечаток сертификата.
- Отметьте строки флажками и выберите мастер. Строка с ошибкой не мешает остальным.
- Link выдаёт каждому агенту сертификат, создаёт участников и связи мастер → реплика.
- RCM ждёт сертификат агента до 10 минут и запуск узлов до 20 минут.
hqbirdrcm cluster link -hosts db1,db2,db3 -master db1
Сверьте отпечаток в строке с тем, что показал агент на своём хосте. Так вы знаете, что связываете нужный сервер.
- Несколько агентов на одном хостеУ каждого агента свой слот от 0 до 9. Порт сопряжения 7450 + слот, порты узлов 7051 + слот и 7061 + слот. Слот выбирает установка; ключ
--pairing-portзадаёт его явно. - Add memberСтраница Cluster предлагает свободный порт узла и отказывает в порте, который занят другим участником этого хоста.
- Имена участников
<имя хоста>-masterи<имя хоста>-replica. RCM не переименовывает участника: новое имя — это новый участник. - Без окна сопряженияRCM выдаёт токен на один агент, на 24 часа. На новом хосте:
fbagent --cluster-joinс этим токеном и хэшем CA.
- Владелец RCMАгент, который включил RCM на хосте. Второй агент этого хоста получит отказ. Если владелец удалён,
fbagent --cluster-init --rcm-takeoverпередаёт RCM другому агенту. Кластер получает новый CA, участников нужно связать заново. - Выход из кластера
fbagent --cluster-leaveостанавливает узлы, закрывает их порты и удаляет сертификаты кластера. Папки узлов остаются;--remove-dataудаляет их. Агент выходит сам, если RCM отозвал его или убрал последнего участника. - ФайрволАгент сам открывает и закрывает свои порты кластера. Порт, который был открыт до него, он не закрывает.
- Удаление HQbirdВладелец RCM не удаляется, пока его RCM используют другие агенты. Мастер установки спрашивает; тихий режим требует
--forceили/FORCE.
Страница Clusters в локальном HQ Monitor работает через агента хоста RCM. Пароль RCM для неё не нужен. Раздел «Cluster on this server» видит только администратор.
Инициализация · reinit
Новая реплика без остановки мастера
Реплика получает базу только с мастера. Узел мастера замораживает файл через nbackup -L, передаёт его частями и сразу снимает блокировку. Пользователи мастера всё это время работают: их изменения идут в .delta, а потом возвращаются в базу.
gbak и ручная копия файла не подходят. gbak меняет GUID базы, и связь мастер — реплика ломается. Копия файла работающей базы не согласована.
Пользователи мастера
Файлы
- Обрыв связиПередача продолжается с последней полученной части. Недоделанная копия хранится на реплике 24 часа.
- ОшибкаУзел снимает блокировку, удаляет недоделанный файл и ставит базе FAILED. Следующая попытка начинается с известного состояния.
- Транзакции во время блокировкиНе теряются. Firebird 4 и 5: узел находит транзакции, открытые в момент
nbackup -L, и реплика повторяет их из сегментов. HQbird 2.5 и 3.0: узел ждёт, пока такие транзакции закончатся (около минуты), иначе копия не начнётся.
- Одна база за разПо умолчанию узел мастера копирует одну базу. Остальные ждут в очереди.
- Другие реплики этой базыПока идёт копия, не получают сегменты этой базы. Потом догоняют.
- Автоматическая реинициализацияRCM может сам заново скопировать базу в состоянии NEEDS_REINIT, только в заданное окно. По умолчанию выключено.
Плавный способ ждёт длинные транзакции
Перед блокировкой узел ищет пишущие транзакции, которые начались раньше самого старого сегмента в архиве мастера. Если архив пуст (первая копия), граница — момент, когда узел включил публикацию. Реплика не сможет повторить такие транзакции и остановится. Поэтому копия не начнётся, пока такие транзакции открыты.
RCM покажет пять соединений с самыми старыми транзакциями: пользователь, клиент, возраст, текущий запрос. Их можно отключить и сразу повторить копию. Пока копия ждёт, архив мастера не чистится, но не дольше 1000 сегментов. Потом чистка продолжается, и RCM даёт оповещение.
Обычный способ блокирует базу сразу, без проверки.
Место и скорость
| Где | Что нужно |
|---|---|
| Мастер, том базы | Свободно не меньше 105 % размера базы. Во время копии растёт .delta. |
| Реплика, том базы | 105 % и запас тома free_space_floor_gb (по умолчанию 1 ГБ). Узел заранее резервирует полный размер; второй копии не нужно. При повторной копии старый файл лежит до конца. Если места на оба файла нет, флажок «Удалить старую реплику» удаляет старый файл до передачи. |
| Скорость ночью | В окне передачи (по умолчанию 23:00–05:00) постоянная, по умолчанию 100 МБ/с. |
| Скорость днём | Доля измеренной скорости диска, по умолчанию половина. Копия, начатая днём, ночью ускорится сама. |
Место проверяется дважды и только до блокировки: сначала RCM по статистике, затем узлы живым замером на обеих сторонах. Проверку узла обойти нельзя: она защищает диск от переполнения посреди копирования.
Firebird 4 и 5 · HQbird 2.5 и 3.0
Публикация: какие таблицы идут на реплику
Firebird 4 и 5 пишут в сегменты только изменения опубликованных таблиц и только при включённой публикации. Без неё изменения не попадают на реплику. Узел замечает это и даёт оповещение. Кнопка «Синхронизировать публикацию» включает её и составляет правильный список таблиц.
Что делает синхронизация
- включает публикацию, если оператор не выключил её сам;
- добавляет все таблицы с первичным ключом или уникальным индексом;
- убирает таблицы без ключа и таблицы, которые исключил оператор;
- выключает автоматическое добавление новых таблиц.
Без ключа реплика не найдёт строку для UPDATE и DELETE. Поэтому такую таблицу опубликовать нельзя: добавьте ключ и синхронизируйте снова.
- Проверка каждый часЕсли публикация выключена, узел проверяет её каждые 2 минуты. У базы с репликой это оповещение.
- Список исключенийХранится на узле мастера. При повышении реплики до мастера переходит на новый мастер.
- Новая таблицаСама в публикацию не попадает. Создайте ключ и нажмите «Синхронизировать».
- Копия без публикацииУзел мастера отказывает в копии базы, если публикация выключена или в ней нет таблиц (
publication_off). Окно инициализации предлагает «Синхронизировать публикацию и инициализировать». - HQbird 2.5 и 3.0Публикаций нет. Набор таблиц задают фильтры включения и исключения в настройках репликации.
Изменения, сделанные, пока публикация выключена или таблица исключена, на реплику не попадут и после включения. «Проверить» сравнивает только число строк, потерянные UPDATE она не найдёт. Если в базу писали, пока публикация была выключена, скопируйте базу заново.
Отставание · архив · оповещения · сверка
Контроль: реплика не отстаёт молча
Узлы присылают статистику в RCM каждые 30 секунд. Для каждой пары мастер — реплика видно: последний сегмент, сколько отправлено, подтверждено и применено, очередь и отставание в секундах.
| Состояние базы | Группа в RCM | Что значит |
|---|---|---|
IN_SYNC | Ok | Реплика получила все сегменты. |
LAGGING | Pending | Реплика отстаёт, сегменты в очереди. |
SEEDING | Pending | Идёт копия базы на реплику. |
NEEDS_REINIT | Error | Реплику нужно скопировать заново. |
FAILED | Error | Последняя копия не удалась. |
Архив мастера чистится по ступеням
Мастер хранит отправленные сегменты, чтобы реплика могла запросить их снова. Если места мало, он удаляет сначала то, что точно не нужно.
- 1Применены всеми, старше срокасрок по умолчанию 2 дня
- 2Применены, но моложе срокаесли свободно меньше 1 ГБ; оповещение
- 3Ещё не примененыв последнюю очередь; реплике нужна новая копия
Оповещения с инструкцией
RCM знает более 20 типов оповещений, и у каждого есть инструкция, что делать. Оповещение можно подтвердить, заглушить на 60 минут или удалить. Если причина осталась, оповещение появится снова.
Почты и webhook нет: смотрите страницу «Оповещения» или опрашивайте API RCM.
| Код | Что случилось |
|---|---|
backlog_warn / backlog_critical | На мастере 32 / 48 неархивированных сегментов. |
apply_error, replication_stopped | Реплика не может применить сегмент. |
replication_guid_mismatch | GUID базы мастера изменился: restore или замена файла. |
segment_missing, sequence_gap | Нарушена последовательность сегментов. |
firebird_down, firebird_log_error | Firebird не работает или пишет ошибки. |
firebird_not_answering | Порт Firebird открыт, но подключиться к базе нельзя уже минуту. |
master_publication_off | У базы с репликой выключена публикация. |
data_mismatch | Периодическая сверка нашла расхождение. Сверка включается отдельно. |
Сверка мастера и реплики
Проверить считает строки выбранных таблиц на мастере и на реплике и сравнивает. Содержимое строк она не сравнивает: изменённые строки она не найдёт. Запускайте в тихое время: при активной записи числа могут отличаться.
Периодическая проверка по умолчанию выключена: COUNT(*) читает всю таблицу. Включите её параметром узла data_check_enabled, она идёт раз в 2 часа. Новые настройки проверки действуют сразу, без перезапуска узла. Проверка сравнивает данные, когда мастер и реплика стоят на одном сегменте. Расхождение даёт оповещение. Исключённая из публикации таблица показана как «not published», а не как ошибка.
- Пауза отправкиДля одной или многих баз. После «Возобновить» отправка продолжается с последнего сегмента, без новой копии. Архив в это время растёт.
- Логи удалённого узлаreplication.log, firebird.log и лог узла прямо в RCM, без входа на сервер.
- Нет лицензииМастер останавливает отправку, Firebird и базы работают. После установки лицензии отправка продолжается сама в течение минуты.
- Журнал командКаждая команда RCM записана с автором и результатом. Отчёт кластера одним JSON-файлом.
Сервис · эпоха · где мастер
Сервисы: одна база на нескольких хостах
Сервис — это одна логическая база на нескольких хостах. Мастер может переходить с хоста на хост, а имя сервиса и alias базы не меняются. Приложения и роутеры спрашивают у RCM, где сейчас мастер сервиса.
Каждая смена мастера получает следующий номер — эпоху. RCM хранит историю эпох: когда мастер сменился и почему. Сервис находится по узлу и пути к файлу, а не по GUID: при switchover GUID базы меняется, путь остаётся.
Что описывает сервис
- alias — имя базы в
databases.conf. Новый мастер записывает его сам. - members — по одной записи на хост: узел мастера, узел реплики, путь к файлу, приоритет.
- router_port — порт, на котором роутеры принимают приложения этого сервиса.
- policy — правила автоматического failover и режим закрытия старого мастера.
На каждом хосте сервиса работают два узла на одном Firebird: узел мастера и узел реплики. Это та же схема «Два узла на хосте», что на рисунке выше.
Узлу мастера нужен адрес Firebird для клиентов: параметр advertise_addr. Без него RCM не скажет приложению, куда подключаться.
Где сейчас мастер
hqbirdrcm services put -id shop -file shop.json hqbirdrcm services hqbirdrcm where -service shop hqbirdrcm where -db shop
where отвечает: хост и адрес мастера, номер эпохи, реплики и найденные проблемы. Через API приложение может ждать новую эпоху, не опрашивая RCM каждую секунду.
Страница Services в RCM показывает то же для каждого сервиса: состояние, эпоху, мастер, адрес Firebird, реплики и проблемы. Поле Find находит базу по alias, имени сервиса, GUID или пути.
Сервисы в браузере
Всё, что делают команды hqbirdrcm для сервисов, есть в веб-интерфейсе RCM. Командная строка для этого не нужна.
- Страница сервисаСостояние и его причина, мастер, реплики с отставанием, хосты и их роли, роутеры, старые мастера в очереди на закрытие, правило автоматического failover, идущая операция по шагам и история мастеров.
- Кнопки действийSwitchover, Failover, Rejoin, Resume. Каждая сначала запускает проверку и показывает проблемы. Действие начинается только после подтверждения. Повторный щелчок не запускает вторую операцию.
- Форма сервисаКнопка New service создаёт сервис: имя, alias, порт роутера и строка на каждый хост. Форма предлагает узлы и базы, которые они видят. Check проверяет, Save сначала показывает список изменений.
- OperationsСтраница со всеми switchover, failover и rejoin, новые сверху. Пока операция идёт, в шапке каждой страницы стоит метка со ссылкой на неё.
- Удаление сервисаУдаляется только запись в RCM. Окно говорит, что остаётся (базы, репликация, роли узлов, alias) и что теряется (история, правило, порт на роутерах), и просит ввести имя сервиса.
- Роль viewerПользователь с этой ролью видит все страницы и запускает проверки, но кнопок действий у него нет.
| Состояние сервиса | Что значит | Что делать |
|---|---|---|
ok | Мастер работает, реплика на другом хосте следует за ним. | Ничего. |
rejoining | Идёт возврат старого мастера репликой. | Ждать: копируется база. |
degraded_no_replica | Мастер работает, реплики нет. Так бывает после failover или после ошибки возврата. | hqbirdrcm rejoin |
failed | RCM не может определить состояние, или Firebird мастера не отвечает. | hqbirdrcm resume после проверки |
Сервис в состоянии failed не начинает ни switchover, ни автоматический failover. Из этого состояния его выводит только оператор: командой resume, возвратом (rejoin) или ручным failover.
Плановый перенос мастера · без потери данных
Switchover: мастер переходит на другой хост
Switchover переносит мастер сервиса на другой хост без потери данных. RCM сам останавливает запись на старом мастере, ждёт, пока реплика применит последний сегмент, и делает её мастером. Потом старый мастер возвращается в кластер репликой нового, по тому же пути.
Он нужен для плановых работ: обновление ОС, замена дисков, перенос нагрузки на другой сервер. Сначала проверка, потом запуск:
hqbirdrcm switchover -service shop -check # только проверка, ничего не меняет hqbirdrcm switchover -service shop -to db2 # перенос мастера на db2
Команда ведёт операцию до конца и печатает каждый шаг. Код выхода 0 — успех. То же делает кнопка Switchover на странице сервиса в RCM: сначала проверка, потом подтверждение, потом шаги операции на экране.
Приложения
Хосты и сервис
Что проверяется до начала
- Сервис в состоянии
ok, мастер известен. - Целевая реплика в состоянии
IN_SYNC. - Все четыре узла двух хостов отвечают.
- На целевой реплике нет паузы из-за лицензии.
- На этих узлах не идёт копия базы или повышение.
Если что-то не так, RCM отказывает и называет причину кодом. До этого момента ничего не изменилось.
Если что-то пошло не так
- До точки невозврата. Ошибка, тайм-аут или отмена возвращают старый мастер в онлайн. Сервис остаётся
okна старом хосте. Если старый мастер не вышел в онлайн, сервис получаетfailed: включите базу командойgfix -online normalи выполнитеresume. - После точки невозврата. Отмена невозможна. Ошибка ставит сервис в
failed. - Ошибка при возврате. Новый мастер работает, реплики нет:
degraded_no_replica. Запуститеhqbirdrcm rejoin -service shop.
hqbirdrcm operations show -id <id> hqbirdrcm operations cancel -id <id>
В браузере это страница Operations и кнопка Cancel на странице сервиса.
- Остановка записиСтарый мастер уходит в полный shutdown. Узел ждёт, пока соединения закончатся: по умолчанию 120 секунд, максимум 900. Ключ
-force Nразрывает соединения через N секунд. - ДочитываниеRCM каждую секунду спрашивает реплику, применила ли она последний сегмент. Лимит по умолчанию 300 секунд.
- Один перезапуск FirebirdНа новом мастере, без ожидания окна. При возврате Firebird старого хоста перезапускается, только если это нужно узлу реплики.
- Возврат — это копия базыНовый мастер копирует базу на старый хост через nbackup. Для большой базы это долго, поэтому команда ждёт операцию до 2 часов.
- RCM перезапустилсяКаждый шаг записан на диск до вызова узла. После перезапуска RCM продолжает операцию с текущего шага.
- Блокировка сервисаПока идёт switchover или возврат, RCM отказывает в других изменениях на этих узлах: настройки, перезапуск Firebird, копия, пауза отправки.
Соединения со старым мастером закрываются на шаге остановки записи. Приложение должно подключиться снова. С роутером строка подключения остаётся прежней. Без роутера приложение идёт на адрес нового мастера: его даёт hqbirdrcm where -service shop.
HAProxy · Linux · одна строка подключения
Роутеры: приложения не меняют адрес
Роутер стоит на хосте приложений и держит HAProxy на мастере каждого сервиса. Приложения подключаются к <хост роутера>:<порт сервиса>. После switchover или failover строка подключения остаётся той же.
Как роутер выбирает хост
- Берёт у RCM таблицу сервисов: эпоха, хост мастера, адреса Firebird.
- Каждые 2 секунды спрашивает узел мастера: «ты мастер этой эпохи и база в онлайне?»
- Ответ «да» — хост принимает соединения.
- Ответ «нет» — новых соединений нет, открытые остаются.
- Новая эпоха — сессии старого мастера закрываются сразу.
Если RCM недоступен, роутер работает по последней таблице. Она хранится на диске роутера.
Как добавить роутер
Роутер — участник кластера с ролью router. Добавьте его на странице Cluster, как мастер или реплику. fbagent на этом хосте получит сертификат, напишет конфигурацию и зарегистрирует службу. HAProxy на хосте должен быть установлен.
Порт сервиса задаёт router_port в описании сервиса. Роутеров может быть несколько: по одному на каждый хост приложений.
Страница Settings → Routers в RCM показывает роутеры и их отчёты: какую эпоху применил роутер и на какой хост он ведёт.
- Соединения рвутсяПри смене мастера открытые соединения закрываются. Приложение должно подключиться снова — по тому же адресу.
- Адрес клиентаFirebird видит адрес HAProxy, а не приложения. Правила доступа по IP клиента за роутером не работают.
- Только LinuxРоутер работает на Linux. Серверы баз могут быть на Windows и Linux.
- СвидетелиРоутеры сообщают RCM, видят ли они порт Firebird мастера. Автоматический failover без них не включается.
Хост мастера потерян · вручную или по правилу
Failover: реплика берёт роль мастера
Failover нужен, когда хост мастера не отвечает. Реплика становится мастером с теми сегментами, которые успела получить. То, что мастер не отправил, теряется. Поэтому оператор должен явно принять потерю.
hqbirdrcm failover -service shop -check # что будет потеряно hqbirdrcm failover -service shop -to db2 -accept-data-loss # запуск
Без ключа -accept-data-loss команда только проверяет и показывает оценку потери: последний сегмент мастера, сколько реплика получила и применила, сколько сегментов потеряно как минимум.
В браузере это кнопка Failover на странице сервиса. Она начинает операцию, только когда оператор отметил флажок о потере данных и ввёл имя сервиса.
- 1Проверкамастер не отвечает, у реплики есть годная копия
- 2Дочитываниереплика применяет всё, что получила; лимит 60 с
- 3Повышениеточка невозврата: новый GUID, перезапуск Firebird
- 4Новая эпохареплика — мастер; старый мастер ждёт закрытия
- Мастер ещё отвечаетRCM отказывает:
master_reachable. Запустите switchover или сначала остановите узел мастера. - Отстающая репликаСостояние
LAGGINGпринимается. Реплика, которой нужна новая копия, не подходит. - Несколько репликПо умолчанию RCM берёт ту, что применила больше сегментов, затем ту, у которой выше приоритет.
- После failoverСервис в состоянии
degraded_no_replica: мастер работает, реплики нет. Возврата нет, пока старый хост не поднимется. - Сервис в состоянии failedРучной failover работает и для него. Так выходят из положения, когда Firebird мастера завис и перезапустить его быстро нельзя.
- Исключённые таблицыRCM берёт их список с реплики или из последней статистики старого мастера. Если списка нет, задайте таблицы на странице публикации нового мастера.
- Лимит дочитыванияКлюч
-apply-timeout, по умолчанию 60 секунд, максимум 3600.
Автоматический failover по желанию
RCM может начать failover сам. По умолчанию это выключено. Правило включается для каждого сервиса отдельно: на странице сервиса в браузере или командой.
hqbirdrcm policy -service shop # показать правило
hqbirdrcm policy -service shop -auto-failover on -max-data-loss 30
RCM проверяет условия каждые 10 секунд и начинает failover, только когда выполнены все.
| Условие | Зачем |
|---|---|
| Узел мастера молчит 90 секунд | Мастер не присылает статистику. |
| Прямой вызов RCM к узлу мастера не проходит (5 секунд) | Это не просто опоздавшая статистика. |
| Больше половины роутеров не видят порт Firebird мастера | Приложения тоже не могут подключиться. |
| Узел реплики не видел мастер 90 секунд | Третий свидетель. |
| Отставание реплики не больше 30 секунд | Граница потери данных. |
| С прошлого автоматического failover прошёл час | Мастер не прыгает между хостами. |
| RCM работает дольше 90 секунд | После перезапуска у RCM нет свежих данных. |
Сервис ok, на узлах нет копии или повышения | Нет конфликта с идущей работой. |
- Нужны роутерыПравилу нужны и роутеры, и порт сервиса. Если нет хотя бы одного, оно не включится:
no_witnesses. Ставьте роутеры так, чтобы большинство было не на хосте мастера. - Один разПосле автоматического failover правило выключает себя. Снова его включает только оператор.
- Почему не началсяRCM хранит причину ожидания вместе с правилом сервиса и пишет каждую новую причину в свой журнал один раз.
- ЖурналОперация идёт от имени
system:autofailover. Первая запись говорит, что видели свидетели.
Граница 30 секунд ограничивает только очередь, которую реплика получила и ещё не применила. Сегменты, которые мастер записал, но не отправил, в неё не входят. Их число показывает отчёт операции.
Fence · rejoin · зависший мастер · resume
Возврат и восстановление
После failover в кластере два файла, которые были мастером. Старый нужно закрыть, чтобы он не принимал запись, и вернуть репликой. RCM делает первое сам, второе — по команде оператора.
Закрытие старого мастера (fence)
RCM пробует закрыть старый мастер каждые 10 секунд. Когда его узел ответит, он получает роль «закрыт» и перестаёт отправлять сегменты. Каждое закрытие записано в журнал аудита.
- Режим
route(по умолчанию). База старого мастера остаётся в онлайне. Роутеры её уже не используют. - Режим
shutdown. RCM сначала останавливает базу. Соединения закрываются через 5 секунд.
hqbirdrcm policy -service shop -fence-mode shutdown
Возврат старого мастера (rejoin)
Когда старый хост снова работает, запустите возврат. RCM сначала закрывает старый мастер, если это ещё не сделано. Потом новый мастер копирует свою базу на старый хост, по тому же пути.
hqbirdrcm rejoin -service shop
Старый файл не удаляется. Он остаётся рядом как <имя>.pre-reinit-<время>.fdb. В нём и в архиве старого мастера лежат изменения, которых нет на новом мастере.
В режиме route приложения, которые подключаются к старому хосту напрямую, а не через роутер, всё ещё могут писать в старую базу. Эти изменения не попадут на новый мастер. Если часть приложений работает без роутера, включите режим shutdown.
Зависший мастер
Firebird может зависнуть так, что порт открыт, а подключиться к базе нельзя. Проверка порта это не видит. Поэтому узел сам подключается к базе каждую минуту, с лимитом 10 секунд.
- Минута без ответа — серьёзное оповещение
firebird_not_answering. - RCM ставит сервис в
failedи пишет причину: узел, хост, время. - Автоматический failover в этом состоянии не начинается.
Что делать: сохраните стеки потоков Firebird и firebird.log, перезапустите Firebird на хосте мастера, затем выполните resume. Если перезапустить быстро нельзя, остановите узел мастера и запустите failover.
Выход из состояния failed
hqbirdrcm resume -service shop -check hqbirdrcm resume -service shop
RCM напрямую спрашивает узел мастера и проверяет:
- на сервисе не идёт операция;
- узел мастера отвечает;
- его Firebird принимает подключения;
- хост — мастер текущей эпохи, база в онлайне.
Сервис переходит в ok, если реплика другого хоста следует за мастером. Иначе — в degraded_no_replica: тогда запустите rejoin.
Сделать обычной · повысить до мастера
Ручное повышение реплики: по шагам
Для базы, которая входит в сервис, используйте switchover и failover: они сами делают все шаги ниже. Ручной путь остаётся для баз без сервиса. «Сделать обычной» превращает реплику в отдельную рабочую базу: для отчётов, тестов или аварии. «Повысить до мастера» делает реплику новым мастером.
Повышение работает для пары узлов-компаньонов: узел реплики и узел мастера на одном экземпляре Firebird. Файл базы остаётся на месте, управление переходит к компаньону. Каждый шаг виден в строке базы. Если шаг прервался, нажмите кнопку снова: выполненные шаги не повторяются.
Соединения
Что видно в RCM
Зачем новый GUID
Без него новый мастер писал бы сегменты под GUID старого мастера, и его реплики получали бы отказ. Узел даёт базе новый GUID на месте, через nbackup, без перезапуска Firebird. Способ работает на 2.5, 3.0, 4.0 и 5.0.
После нового GUID старая цепочка nbackup не подходит. Сделайте новую копию уровня 0.
Ручное переключение без сервиса
- Остановите запись приложений в старый мастер.
- Дождитесь
IN_SYNCи пустой очереди. - Нажмите «Проверить»: числа строк совпадают. Это проверка только числа строк.
- «Повысить до мастера», дождитесь шага FINALIZE.
- Переключите приложения на новый мастер.
- Сделайте копию nbackup уровня 0 и подключите новую реплику.
Ручное повышение не проверяет, пишут ли приложения в старый мастер, и не возвращает старый мастер репликой. Сначала остановите запись сами. Switchover делает оба шага за вас: останавливает запись и возвращает старый мастер.
Перезапуск · параметры · сертификаты
Настройки и защита
Firebird читает настройки репликации только при запуске. Поэтому важно, кто и когда его перезапускает. Правило простое: Firebird мастера никогда не перезапускается автоматически. Исключение одно — switchover и failover: там перезапуск входит в операцию, которую начал оператор или правило, которое он включил.
| Узел | Кто перезапускает Firebird |
|---|---|
| Мастер | Только вы. Узел мастера не перезапускает Firebird сам. |
| Реплика, на том же Firebird есть базы мастера | Вы. Разрешение в окне копии позволяет узлу только остановить Firebird, чтобы заменить или удалить старый файл реплики. |
| Реплика, автоперезапуск запрещён | Вы. |
| Остальные реплики | Узел, в своём окне перезапуска. Один раз после серии копий, а не после каждой базы. |
Параметры репликации для многих баз
Выберите базы: RCM соберёт их по версии Firebird и роли. Для каждого параметра выберите действие: оставить, задать, сбросить к уровню выше или не записывать. Видно, откуда взято текущее значение: от базы, от узла или от Firebird.
Предпросмотр проверяет значения на узлах и ничего не меняет. Он же показывает, кто будет перезапускать Firebird и сколько баз это затронет.
- Окна времениПерезапуск мастера, который заказали вы: 22:00–05:00. Реплика: в любое время. Ручное повышение до мастера перезапускает оба Firebird сразу, без окна. Switchover перезапускает один Firebird: на новом мастере. Полная скорость копии: 23:00–05:00.
- Скорость сегментовПо умолчанию 50 МБ/с, кратковременный пик 200 МБ. Меняется сразу, без перезапуска.
- Перенос файла репликиВ другую подпапку без новой копии; при ошибке откат.
- Реплика, настроенная вручнуюЕё можно взять под управление без новой копии. RCM сопоставит файлы по GUID.
- Командная строкаКопия, проверка, пауза, повышение и другие команды RCM есть и в
hqbirdrcm. Switchover, failover и правило сервиса доступны тремя путями: в браузере, командой и через API. - Роль viewerПользователь RCM с ролью viewer видит всё и запускает проверки. Любое изменение ему запрещено.
- 6 языковИнтерфейс RCM. Инструкции к оповещениям — на английском.
Кластер описывается одним документом
Участники, их роли и связи мастер → реплика задаются на странице Clusters в HQ Monitor или в RCM. fbagent каждого хоста получает описание, ставит и настраивает узлы сам. Без HQCenter RCM ведёт один кластер, до 3 хостов.
mTLS и сертификаты
Все каналы кластера защищены mTLS с общим CA. Ключ создаётся на хосте участника и не покидает его: наружу уходит только запрос сертификата. Сертификат действует 90 дней и продлевается сам за 30 дней до конца. Новый ключ и новый CA выпускаются по команде администратора.
Веб-интерфейс RCM работает по HTTPS на порту 7444. Агент открывает этот порт в файрволе, когда на хосте включают RCM. Вход по логину и паролю; первый пароль нужно сменить. Он лежит в файле rcm-initial-password на хосте RCM и на экран не выводится. После смены пароля агент удаляет этот файл. Страница входа показывает хэш CA кластера: сравните его со строкой «CA hash» из итога установки на хосте RCM. Каждое изменение и вход пишутся в журнал аудита.
Команды · тайм-ауты · порты · коды отказа
Справка
Команды
| Задача | Команда |
|---|---|
| Включить RCM на хосте | fbagent --cluster-init <id> |
| Открыть или закрыть окно сопряжения | fbagent --cluster-pairing on|off |
| Связать хосты | hqbirdrcm cluster link -hosts db1,db2 -master db1 |
| Токен для хоста без окна сопряжения | hqbirdrcm cluster join-token -note db2 |
| Выйти из кластера | fbagent --cluster-leave |
| Описать сервис | hqbirdrcm services put -id shop -file shop.json |
| Где мастер | hqbirdrcm where -service shop |
| Плановый перенос мастера | hqbirdrcm switchover -service shop [-to db2] [-check] |
| Аварийный перенос | hqbirdrcm failover -service shop -accept-data-loss |
| Вернуть старый мастер репликой | hqbirdrcm rejoin -service shop |
| Выйти из состояния failed | hqbirdrcm resume -service shop [-check] |
| Правило автоматического failover | hqbirdrcm policy -service shop -auto-failover on|off |
| Ход и отмена операции | hqbirdrcm operations show|cancel -id <id> |
Тайм-ауты и интервалы
| Что | По умолчанию | Как изменить |
|---|---|---|
| Switchover: ожидание конца соединений | 120 с, максимум 900 с | -quiesce-timeout |
| Switchover: реплика применяет последний сегмент | 300 с | -apply-timeout |
| Switchover: команда ждёт конец операции | 2 часа | -timeout |
| Failover: реплика применяет полученное | 60 с, максимум 3600 с | -apply-timeout |
| Автоматический failover: мастер молчит | 90 с | -failover-delay |
| Автоматический failover: граница отставания | 30 с | -max-data-loss |
| Автоматический failover: пауза между двумя | 1 час | -min-interval |
| Проверка условий failover и закрытия старого мастера | каждые 10 с | не меняется |
| Зависший Firebird: проба подключения | раз в минуту, лимит 10 с | не меняется |
| Роутер: опрос узла мастера | каждые 2 с | не меняется |
| Окно сопряжения, токен входа | 24 часа | окно: число часов в запросе |
| Link hosts: сертификат агента, запуск узлов | до 10 минут, до 20 минут | не меняется |
Порты
| Порт | Для чего |
|---|---|
7443 | RCM: узлы, агенты и роутеры, mTLS. |
7444 | RCM: веб-интерфейс и команды оператора, HTTPS. |
7450–7459 | Окно сопряжения агента: 7450 + слот. |
7051–7060 | Первый узел агента: 7051 + слот. |
7061–7070 | Второй узел агента: 7061 + слот. |
router_port | Порт сервиса на роутере, например 3051. |
Коды отказа
| Код | Что значит |
|---|---|
not_in_sync | Целевая реплика отстаёт: switchover не начнётся. |
busy | На узлах идёт копия базы или повышение. |
service_busy | На сервисе уже идёт операция. |
master_reachable | Мастер отвечает: failover не нужен. |
replica_unusable | У реплики нет годной копии базы. |
data_loss_not_accepted | Failover без ключа -accept-data-loss. |
past_no_return | Отмена после точки невозврата. |
no_witnesses | Автоматический failover без роутеров. |
node_port_clash | Порт узла занят другим участником хоста. |
seats_exceeded | В кластере уже 3 хоста. |
Коротко о главном
Частые вопросы
Чем switchover отличается от failover?
Switchover — плановый: оба хоста работают, данные не теряются, старый мастер сам возвращается репликой. Failover — аварийный: хост мастера потерян, теряется то, что мастер не успел отправить, старый мастер возвращают отдельной командой.
Что видит приложение во время switchover?
Соединения со старым мастером закрываются, когда RCM останавливает запись. Пока реплика не стала мастером, писать некуда. После новой эпохи приложение подключается снова: к тому же адресу роутера или к адресу нового мастера.
Сколько длится switchover?
Перерыв в записи — это три части: ожидание конца соединений (до 120 секунд по умолчанию), дочитывание последнего сегмента и один перезапуск Firebird на новом мастере. Возврат старого мастера идёт после этого, в фоне. Его время — это время копии базы.
Можно ли работать без роутера?
Да. Switchover и ручной failover работают без роутеров. Приложение тогда само узнаёт адрес мастера у RCM. Автоматический failover без роутеров не включается: роутеры — его свидетели.
Сколько данных можно потерять при автоматическом failover?
Правило не сработает, если реплика отстаёт больше чем на 30 секунд. Но сегменты, которые мастер записал и не успел отправить, теряются. Отчёт операции показывает их число. Старый файл базы сохраняется: эти изменения остаются в нём и в архиве старого мастера.
Сервис в состоянии failed. Что делать?
Посмотрите причину на странице Services. Если завис Firebird мастера — перезапустите его. Затем hqbirdrcm resume -service <id> -check покажет, что мешает, а resume без ключа вернёт сервис в работу.
Сколько места нужно для возврата старого мастера?
Возврат — это новая копия базы. Действуют те же правила, что для любой копии: 105 % размера базы. После failover старый файл остаётся рядом, поэтому на старом хосте нужно место на оба файла.
Работает ли это на Windows?
Узлы и RCM работают на Windows и Linux. Роутер работает только на Linux.