Бэкапы HQbird
Бэкапы Firebird
gbak и nbackup по расписанию, для одной базы или для всех баз в папке. Для gbak можно включить тестовое восстановление после каждого бэкапа. База обновляется из бэкапа сама, и ни один сбой посередине не оставляет её в неизвестном состоянии.
- 6 типов заданий бэкапа
- nbackup уровни 0…4
- zip · gz · zstd с проверкой архива
- S3 без промежуточного файла
- тестовое восстановление
Два инструмента
gbak или nbackup
HQbird умеет оба вида бэкапа Firebird, и их можно сочетать для одной базы. gbak делает логическую копию: она меньше базы и проверяется восстановлением. nbackup копирует страницы базы: это быстро, а инкременты занимают мало места.
| gbak (verified backup) | nbackup (incremental) | |
|---|---|---|
| Что копирует | Данные и метаданные. Мусор и старые версии записей не попадают в копию. | Страницы файла базы. Уровень 0 полный, уровни 1…N только изменённые страницы. |
| Размер | Обычно заметно меньше базы; хорошо сжимается. | Уровень 0 размером с базу; инкременты маленькие. |
| Восстановление | Создаёт новую базу и строит индексы заново. Для больших баз это долго. | Склеивает цепочку уровней. Быстро. |
| Проверка | Тестовое восстановление после каждого бэкапа, если оно включено в задании. | Проверка цепочки по GUID. Нет уровня 0 — агент делает его сразу. |
| Для чего | Надёжная копия, перенос между версиями и серверами, Backup-Restore-Replace. | Частые точки восстановления в течение дня без нагрузки на сервер. |
Если gbak и nbackup одной базы должны начаться в одну минуту, gbak сдвигается на 15 минут. Пока база занята nbackup, gbak ждёт (по умолчанию до 60 минут), а не падает.
Типы заданий
Индивидуальные и групповые задания
Индивидуальное задание отвечает за одну базу и имеет свои настройки. Это задание для главной базы компании: своё расписание, своя папка, своё хранение.
Групповое задание отвечает за папки с базами. Одни настройки для всех баз группы. Каждый цикл агент заново сканирует папки по маскам, поэтому новая база попадает в бэкап сама, без правки настроек.
| Одна база | Все базы в папках | |
|---|---|---|
| gbak с проверкой | vbackup | grpvbackup |
| nbackup с уровнями | nbackup | grpnbackup |
| Дамп nbackup | nbackup_dump | grpnbackup_dump |
Что групповое задание берёт, а что пропускает
Агент проходит по папкам и проверяет каждый файл: маски включения и исключения. По желанию — минимальный размер и простая проверка начала файла. Файлы бэкапов (.fbk, .nbk, .delta, архивы) в бэкап не попадают никогда.
База, у которой есть своё индивидуальное задание, исключается из группы автоматически, даже если это задание выключено. Группа gbak не берёт базы индивидуальных заданий gbak. Группа nbackup не берёт базы заданий nbackup и дампа.
Системные базы (имена на security и examples) пропускаются всегда. Причина каждого пропуска видна в предпросмотре сканирования.
D:\data\ · маска *.fdb
- sales.fdbв группе
- stock.fdbв группе
- branch_new.fdb
новая база: начнётся с уровня 0в группе - erp.fdb
есть своё индивидуальное заданиепропуск - security5.fdb
системная базапропуск - bck_sales_20261107.fbk
файл бэкапапропуск - orders.fdb.delta
delta-файл nbackupпропуск
- База пропала из папкиСтановится «осиротевшей». Её бэкапы хранятся по правилу: N дней или всегда. Или они сразу уходят в папку
_orphanedи удаляются через 7 дней. - База переименованаНовое имя начинает новую цепочку с уровня 0. Старые бэкапы хранятся по правилу для осиротевших баз.
- Повторные сбоиПосле 5 сбоев подряд база уходит на паузу на 6 часов и потом пробуется снова.
- Ошибка одной базы не останавливает группуГруппа продолжает со следующей базы. Это настройка «Continue with the next databases after an error»; она включена по умолчанию для групп gbak, nbackup, дампа и sweep.
- Итог группы в строке задания«Найдено N баз · успешно M · ошибок X · общее время». В деталях — таблица баз с ошибкой: имя, путь и начало текста ошибки.
- Бюджет времениЦикл не начинает новые базы, если время вышло. Для групп nbackup можно включить продолжение со следующей базы в следующем цикле.
- ПараллельностьСколько баз группы обрабатывать одновременно. Общий лимит длинных задач на сервер: по умолчанию одновременно идут не больше двух.
- Одна операция на базуИндивидуальные и групповые задания, gbak и nbackup видят блокировки друг друга.
- Дерево папок как в источникеФлажок «Repeat the source folder tree»: бэкап базы
x/y/EMPLOYEE.FDBложится в<папка бэкапов>/x/y/EMPLOYEE.FDB/. Базы с одинаковыми именами из разных папок не мешают друг другу.
vbackup · grpvbackup
gbak: бэкап с проверкой
Перед каждым шагом агент проверяет место: для бэкапа, для тестового восстановления, для архива. Если места для восстановления мало, оно пропускается с причиной no_space, а бэкап остаётся. gbak пишет во временный файл. Файл получает имя .fbk, только если размер и лог gbak в порядке. Так в папке не появляется недописанный бэкап с нормальным именем.
- 1Проверка местадля бэкапа; перед восстановлением и сжатием — снова
- 2gbakво временный
.gbaktmp; на Firebird 5 — на N ядрах - 3Проверкаразмер и лог; затем имя
.fbk - 4Тестовое восстановлениеесли включено; отдельный файл, не рабочая база
- 5Сжатиеархив распакован и сверен по SHA-256
- 6✓ Хранилищекопия в другую папку; старые копии удаляются
- Понятные имена
bck_sales_20261107_02-00.fbk: начало имени базы и время. Две базы в одной папке не пишут одинаковые имена. - Предупреждение о пересеченииЕсли два задания пишут файлы с одним началом имени в одну папку, агент и редактор предупреждают.
- Результат тестового восстановленияok, failed, skipped с причиной или not_run. Видно в последнем исходе задания и в инвентаре. В редакторе у каждого восстановления видны обе команды: бэкап и восстановление.
- Старая тестовая базаНовое задание начинает тестовое восстановление с
-rep: gbak перезаписывает копию прошлого запуска. Клиентов этой копии агент сначала отключает. Если путь тестовой базы совпадает с рабочей базой или с базой другого задания, восстановление пропускается. - Логи и команды gbakПоследние строки ошибки видны в консоли; лог можно скачать. Логи удаляются вместе со своим бэкапом. Агент хранит историю запущенных команд: до 50 на каждый шаг задания, пароли скрыты.
- Ключи, которые ломают проверку
-Yотправляет вывод gbak в файл, а агент проверяет бэкап по этому выводу. Поэтому-Yзапрещён. Потоковое задание не принимает-SEи в строке восстановления. Редактор отмечает такие ключи. - Тайм-аутыМягкий: предупреждение. Жёсткий: остановка gbak.
- Время gbak по шагамАгент сам добавляет ключ
-ST TDRWк каждому бэкапу и восстановлению и берёт из вывода время gbak. Свой-STв опциях задания не нужен: редактор его не примет. - Вход задаёт агентКлючи
-user,-password,-fetch_passwordи-trustedв опциях запрещены. Тестовое восстановление идёт от имени владельца базы, если он записан в доступе к базам. Строка восстановления показывает, под каким именем оно шло. - Понятные сообщенияМесто и время в привычных единицах: «8.1 GiB free, 11.8 GiB needed», «timed out after 60 s».
nbackup · grpnbackup
nbackup: уровни и точки восстановления
Уровень 0 копирует всю базу. Уровень 1 копирует страницы, изменённые после последнего уровня 0. Уровень 2 копирует изменения после последнего уровня 1. Чтобы восстановить базу на нужный момент, достаточно трёх файлов.
Пример расписания: уровень 0 раз в неделю, уровень 1 каждую ночь, уровень 2 четыре раза в день. Это 36 точек восстановления в неделю: 1 + 7 + 28. Хранится 5 копий уровня 0, 7 уровня 1 и 24 уровня 2.
- Цепочка без дырНет уровня 0 — агент делает его сразу. Для других уровней это настройка «Сразу создавать отсутствующие младшие уровни». Без неё запуск пропускается, пока нижнего уровня нет.
- Проверка по GUIDКаждый уровень привязан к своему нижнему уровню; чужой файл в цепочку не попадёт.
- Три режима расписанияПростой — по дням и часам. Расширенный — cron для каждого уровня, до уровня 4. План — правила с уровнем, днями и временем.
- Дамп nbackupПолная копия файла базы вне цепочки уровней, по своему расписанию.
- База в delta-состоянииЕсли база осталась заблокированной после прерванного nbackup, агент пытается слить delta.
Режим «план»
План — это набор правил: уровень, дни и время. Дни — каждый день, по дням недели или по числам месяца. Если два правила совпали по минуте, идёт младший уровень. План может сам сделать уровень 0, когда последний уровень 0 старше заданного числа дней. Он запускает младший уровень раньше срока, когда инкременты стали больше заданной доли размера базы. В групповом задании каждая база строит свою цепочку уровней.
Редактор показывает план в календаре на несколько недель вперёд: какой уровень и когда пойдёт. Простое или расширенное расписание переводится в план одной кнопкой, и до сохранения это можно отменить.
- Хранение цикламиЦикл — это уровень 0 со всеми его инкрементами. Агент хранит или удаляет цикл целиком: по числу циклов, по дням или по общему объёму. Самый новый полный цикл не удаляется никогда. Редактор заранее показывает, сколько места займут бэкапы.
- Статус планаПоследняя копия каждого уровня, занятое место и что удалит следующая очистка. Агент обновляет статус после каждого запуска плана.
Сжатие · S3 · хранение
Где хранятся бэкапы
Бэкап может идти прямо в S3: gbak или nbackup пишет в поток, поток уходит в бакет. Промежуточного файла на диске сервера нет, поэтому место для бэкапа на сервере не нужно.
Сжатие zip, gz или zstd есть и для локальных, и для потоковых бэкапов. Для локального бэкапа агент распаковывает готовый архив и сверяет его с исходником по размеру и SHA-256. Только после этого исходный файл удаляется. Если проверка не прошла, не удаляется ничего.
- Хранение по количествуgbak: сколько файлов держать. nbackup: сколько копий каждого уровня.
- Копии в другие местаКопия во вторую папку или на сетевой путь. Выгрузка в S3, FTP или FTPS — отдельным заданием file_sync.
- Свой скрипт после бэкапаДля gbak. Получает пути к бэкапу, тестовой базе и логам gbak.
- Шифрование архиваЗадание gbak может шифровать архив zip (AES-256) паролем из ключей агента, на диске и в потоке S3. Архив открывается в 7-Zip. Восстановление само находит нужный ключ.
- Восстановление из архиваФормат определяется по содержимому файла, локально и из S3.
- Восстановление из S3Задание восстановления читает бэкап прямо из бакета.
- АнтивирусПапки бэкапа и восстановления лучше исключить из проверки в реальном времени.
- Сжатие выбираете выНовое задание создаётся без сжатия. В списке форматов первым стоит zstd. Своё расширение файла можно задать для архива любого формата.
- Руководство по Amazon S3Пошаговая настройка бакета, ключей и задания. Есть на английском и португальском.
Amazon S3 · совместимые хранилища
Бэкапы в S3
Агент отправляет бэкапы в бакет Amazon S3 или совместимого хранилища. Это работает для заданий gbak и nbackup. Другая программа для этого не нужна.
Настройка состоит из трёх частей: подготовить бакет и ключ доступа, создать цель s3 в настройках агента, включить отправку в задании бэкапа. У каждого задания один из двух режимов.
| Копия файла | Поток в S3 | |
|---|---|---|
| Файл на диске сервера | Да. Бэкап пишется на диск, потом отправляется. | Нет. Бэкап идёт прямо в бакет. |
| Место на диске под бэкап | Нужно. | Не нужно. |
| Куда | S3, FTP, FTPS | только S3 |
| Удаление старых копий в бакете | Нет. Используйте правило жизненного цикла бакета. | Да, по правилу хранения задания. |
| Сбой отправки | Локальный бэкап остаётся годным. | Бэкапа нет: в бакете не остаётся объекта. |
- Как выбратьКопия файла — когда нужны и локальная копия, и копия в S3. Поток — когда диск сервера мал или S3 — единственное место для бэкапов.
- Восстановление из S3Задание восстановления читает потоковый бэкап прямо из бакета: самый новый или указанный объект. Агент сверяет размер и SHA-256 каждого объекта.
- ШифрованиеШифрование в бакете защищает объект на стороне хранилища. Шифрование архива в задании защищает файл паролем до того, как он покинет сервер.
- БакетОставьте запрет публичного доступа. Добавьте правило, которое через день удаляет незаконченные загрузки по частям.
- Ключ только для бэкаповСоздайте отдельного пользователя и дайте ему только нужные права: запись, чтение и удаление объектов, отмена загрузки и список незаконченных загрузок бакета. Если бакет шифруется ключом KMS, нужны ещё права на этот ключ. На сервере Amazon EC2 можно работать без ключа, по роли сервера.
- ПроверкаЗапустите задание кнопкой Run now, посмотрите результат и сделайте тестовое восстановление до того, как положиться на бэкап.
Частые ошибки
| Ошибка | Причина | Что делать |
|---|---|---|
AccessDenied | Не хватает права, или путь в правах другой. | Проверить права пользователя. |
SignatureDoesNotMatch | Неверный ключ или пробелы в его значении. | Скопировать ключ заново. |
PermanentRedirect | Регион в настройке не совпадает с регионом бакета. | Исправить регион. |
NoSuchBucket | Неверное имя бакета. | Исправить имя. |
RequestTimeTooSkewed | Часы сервера идут неверно. | Синхронизировать часы по NTP. |
restore.replace_cycle
Backup-Restore-Replace
Цикл перестраивает рабочую базу. Агент делает бэкап gbak, восстанавливает его в новый файл и ставит новый файл на место старого. В новой базе нет мусора, индексы свежие, и обычно она намного меньше. Рабочая база отключается и переименовывается безопасно: агент сначала переводит её в shutdown full, все соединения закрываются, и только потом файл получает новое имя.
По умолчанию цикл идёт в субботу в 02:00, расписание можно поменять. Run now запускает цикл сразу, но сначала просит ввести имя файла базы. База может быть задана путём или алиасом из databases.conf.
Клиенты
Файлы на диске
От shutdown до замены клиенты получают «database not found» или «database shutdown». Планируйте цикл на время, когда база может быть недоступна на бэкап плюс восстановление. В режиме pipe бэкап и восстановление идут одновременно, файл бэкапа не пишется.
Цикл не начнётся, если
- в задании не включено «Разрешить замену» (allow_replace);
- база в shutdown, зашифрована или является репликой;
- база — security DB, своя или для других баз;
- рядом лежат файлы незаконченного цикла;
- не хватает места на диске.
Место считается заранее: файл бэкапа и восстановленная копия лежат на диске одновременно, каждый примерно размером с базу. Оригинал переименовывается, а не копируется, поэтому места не занимает. Если места мало, цикл останавливается до shutdown: база не тронута, клиенты работают.
Что остаётся на диске
Оригиналы. Рядом с базой хранятся последние оригиналы в shutdown full, от 1 до 10, по умолчанию 1. Лишние удаляются в начале следующего цикла, поэтому база в состоянии до последнего цикла есть всегда.
Файл бэкапа удаляется после замены. Если не удалось восстановление, файл сохраняется как .restore-failed.fbk для разбора.
Вернуться к оригиналу: остановить рабочую базу, переименовать файлы и выполнить gfix -online для оригинала.
Когда цикл прерван
Агент могут остановить, сервер могут перезагрузить, может пропасть питание. При обычной остановке службы до замены агент даёт gbak закончить и откатывает цикл. На случай сбоя агент перед каждым шагом записывает, что он делает, в файл намерения. При старте и потом каждую минуту агент читает эти файлы и доводит цикл до известного состояния.
База возвращается в online
Агент переводит базу в online и возвращает задержку закрытия.
Откат
Промежуточная копия и недописанный бэкап удаляются, оригинал получает прежнее имя и переходит в online.
Завершение
Новая база остаётся рабочей, оригинал хранится в shutdown. Скрипт «после» не запускался: запустите его сами, если он важен.
Если файлы на диске не похожи ни на одно известное состояние, агент ничего не меняет, а исход задания начинается с «operator needed». В файле намерения указаны имена всех файлов цикла. Положите нужную базу на её путь, и агент закончит восстановление сам.
Свои скрипты до и после
Скрипт «до бэкапа» выполняется до shutdown. Если он завершился с ошибкой, цикл останавливается, база не тронута. Скрипт «после восстановления» выполняется после замены. Пример: скопировать файл бэкапа в архив до того, как агент его удалит.
| Переменная | До бэкапа | После восстановления |
|---|---|---|
FBAGENT_HOOK_PHASE | pre | post |
FBAGENT_JOB_ID | id задания | |
FBAGENT_DB_NAME | имя в задании: алиас или путь | |
FBAGENT_DB_PATH | файл базы: оригинал, online | тот же путь: новая база, online |
FBAGENT_ORIG_PATH | пусто | путь к оригиналу |
FBAGENT_FBK_PATH | будущий файл бэкапа; пусто в режиме pipe | файл бэкапа, удаляется после скрипта; пусто в режиме pipe |
Инвентарь · отчёт о здоровье
Контроль: у какой базы нет бэкапа
Инвентарь показывает все файлы бэкапов на сервере, и сделанные другими программами. Агент обновляет его после каждого бэкапа и полностью каждые 2 часа. Рядом таблица восстановлений: тестовые и рабочие, за 14 дней.
У каждого бэкапа есть колонка Verified: тестовое восстановление прошло, не прошло или не запускалось. Рядом — размер восстановленной базы и время gbak. В таблице восстановлений видны размер базы и длительность.
Отчёт о здоровье сервера отмечает базу без зарегистрированных бэкапов и говорит почему: задание упало, ещё идёт, отложено, или в папках нет файла. Кнопка рядом с находкой сразу открывает форму нового задания.