Состояние сервера за одну минуту

Агент каждую минуту собирает данные о сервере, ОС, дисках и базах Firebird. Каждые 10 минут он сравнивает их с порогами и пишет снимок состояния. Вы открываете отчёт и сразу видите, что сломалось, когда и что делать.

  • 1 мин метрики сервера и баз
  • 10 мин снимок состояния
  • 18 систем в отчёте
  • 24 ч · 7 · 14 дней история
  • только чтение мониторинг ничего не меняет на сервере

Сценарий

Минута администратора

Утро. Пользователи говорят, что ночью всё тормозило. Четыре экрана HQ Monitor дают ответ раньше, чем остынет кофе.

    server_status

    Как собираются данные

    Агент стоит на сервере Firebird и читает данные там, где они есть: счётчики ОС, cgroup и ETW, мониторинговые таблицы MON$, trace, firebird.log, заголовки баз, результаты своих заданий. Без отдельного сервера мониторинга и без агентов в базах.

    Раз в 10 минут агент сводит всё в снимок состояния. У каждой проверки два порога: warning и serious. Каждая находка имеет ключ, текст и подсказку. Новая проблема появляется после двух снимков подряд, то есть примерно через 20 минут. Авария, например OOM или повреждение базы, появляется сразу. Снимок уходит в HQ Monitor вместе с остальными данными.

    1. 1Сборкаждую минуту: CPU, память, диски, соединения, транзакции
    2. 2Снимоккаждые 10 минут, средние и пики за 10 минут
    3. 3Порогиwarning и serious; меняются в настройках агента
    4. 4Находкачто найдено, где, подсказка, кнопка действия
    5. 5✓ Отчётматрица за 24 ч, 7 или 14 дней; письмо из HQCenter

    Тяжёлые задания самого агента (бэкап, sweep, проверка базы, тест диска) отмечаются на графиках. Медленная минута во время бэкапа не считается проблемой пользователей.

    CPU · память · программы

    Сервер и ОС

    Медленная база часто страдает не из-за Firebird. HQ Monitor показывает не только загрузку сервера, но и кто её создаёт: Firebird, сам агент или другие программы и службы.

    Что видноПодробностиПорог по умолчанию
    Версия и папка FirebirdСтрока версии в списке серверов; версия и папка установки на дашборде.—
    CPU и load averageКаждую минуту. CPU по программам за 10 минут: Firebird, агент, другие, короткие процессы.80% · 97%
    ПамятьИспользовано, swap, ожидание памяти (PSI на Linux). Память по службам (Linux) или программам (Windows), файловый кэш, ядро.80% · 96%
    OOM и swapТолько Linux: процессы, которые убил OOM killer, и активный swap.любой OOM — serious
    Firebird в кэше ОСТолько Linux, ядро 6.5+: сколько каждого файла базы лежит в кэше ОС и открыт ли файл с O_DIRECT.—
    Память Firebird и MON$Память процесса Firebird рядом с тем, что Firebird сам считает в MON$MEMORY_USAGE.—
    Файловая системаРаз в день: тип файловой системы и размер кластера для папок Firebird, баз и агента.находка с путём
    CPU по программам. Доля Firebird, агента и других программ за 10 минут и за весь период.
    Кто использует память. Службы с лимитами памяти, swap, OOM и ожиданием памяти. Видно, что большая часть RAM — файловый кэш.

    TasksMax · NPROC · NOFILE · threads-max

    Лимиты ОС: авария до аварии

    «Firebird упал под нагрузкой» часто значит: кончился лимит ОС. Firebird не может создать поток или процесс, новые соединения не проходят, а в firebird.log появляется pthread_create failed.

    На Linux агент раз в минуту сравнивает каждый сервер Firebird с лимитами ОС. Warning с 80% лимита, serious с 95%, по пику за 10 минут. Находка появляется после двух снимков подряд. Если лимит уже отказал в создании процесса, это serious сразу, без ожидания.

    Агент только читает: он не меняет лимиты, не требует root и не вызывает systemctl. Подсказка находки даёт готовую команду для администратора.

    задачи: 0TasksMax: 4915использовано: 0%

    Условный пример: TasksMax = 4915, 3 потока на соединение. Classic запускает процесс на каждое соединение, поэтому первым упирается в TasksMax.

    ЛимитГде задаётсяЧто бывает при нехватке
    Задачи службы FirebirdTasksMax службы или родительского sliceClassic не может принять новое соединение
    Задачи пользователя FirebirdLimitNPROC, limits.dОтказ в создании потока
    Задачи всего хостаkernel.threads-max, pid_maxОтказ для всех программ; threads-max рассчитан на RAM при загрузке
    Открытые файлыLimitNOFILESuperServer и SuperClassic упираются сюда первыми
    Памятьлимит памяти службы, RAMOOM killer убивает процесс
    • Какой уровень ограничиваетСлужба или родительский slice, например system.slice.
    • Доля самого агентаЕго задачи и дочерние gbak и fbsvcmgr считаются отдельно.
    • Для ClassicПотоков на соединение и сколько соединений лимит ещё позволит.
    • Без находки, для разбораЗадачи, ждущие диска, и время CPU, которое забрал гипервизор (steal).

    Место · temp · IO · задержки

    Диски

    Агент знает роль каждого диска: на нём базы, временные файлы Firebird или папка установки. Для этих дисков он считает свободное место, прогноз заполнения, задержки чтения и записи, IOPS и кто нагружает диск.

    Свободное место падает три дня подряд; прогноз показывает, через сколько дней диск заполнится
    Прогноз заполнения. По свободному месту за последние 3 дня. Warning, если диск заполнится меньше чем через 7 дней, serious — меньше чем через 2.
    • Свободное местоWarning меньше 5 ГБ, serious меньше 1 ГБ. Для каждой папки видно, на каком она диске.
    • Процент заполненияWarning: диск заполнен на 90 % и свободно меньше 20 ГиБ. Serious: 97 % и меньше 5 ГиБ. Нужны оба условия, поэтому большой диск с запасом не даёт ложной тревоги.
    • Диск быстро заполняетсяWarning, если при текущей скорости диск заполнится меньше чем за 6 часов, serious — меньше чем за 2. Обычный ночной бэкап тревогу не поднимает. Находка называет, кто писал на диск последние 10 минут.
    • Временные файлы FirebirdСколько и какого размера, по видам: sort, blob, undo, lock. Warning от 10 ГБ, serious от 50 ГБ. Видно, на одном ли диске temp и базы.
    • Тест производительностиРаз в неделю ночью: INSERT, UPDATE и DELETE миллиона записей во временной базе. Результаты разных недель можно сравнить.
    • Задержки и IOPSКаждую минуту для дисков с базами и temp. Чтение: warning от 20 мс, serious от 50 мс. Запись: warning от 10 мс, serious от 30 мс. Среднее за 10 минут, при 10 IOPS и больше. Диск только с temp — не выше warning.
    • Диск заполнен: запись в firebird.logОшибка «нет места» в firebird.log сразу даёт serious и держится 24 часа. Находка называет диск, где места меньше всего.
    • Имя диска в WindowsДиск назван буквой и меткой тома, например b: (DATA, Disk 2, database), а не GUID тома.
    Задержка чтения и записи диска с базами за час: пороги записи 10 и 30 мс, полоса задания агента
    чтение, мс запись, мс работало задание агента пунктир: пороги записи, warning 10 мс и serious 30 мс (средние за 10 минут); для чтения пороги 20 и 50 мс

    Если Firebird даёт меньше 20% чтения или записи диска, диск нагружает другая программа. Тогда подсказка находки называет главного «соседа» по диску и долю Firebird. Текст подсказки агент пишет на английском.

    Кто нагружает диск

    На Linux по службам systemd, на Windows по процессам. Строка Firebird выделена. Если Firebird читает и пишет мало, а диск занят, причина в соседней программе: антивирус, чужой бэкап, другая служба. На Windows запись идёт через кэш системы, поэтому там доля Firebird считается только по чтению.

    Кто использует диск. Чтение и запись каждой службы и её доля в работе диска.
    Диски на дашборде. Временные файлы, место, задержки с IOPS и скорость; пунктиром чтение и запись самого Firebird.

    Заголовок · LWM · MON$ · gstat

    Базы данных

    Каждая база на сервере имеет свою страницу: размер, состояние, sweep, размер страницы, диалект, владелец, своя ли security DB. Четыре графика по минутам: соединения и запросы, транзакции, чтения и записи страниц, подготовка и выполнение запросов.

    Состояние агент берёт из MON$DATABASE или из заголовка файла, что новее: shutdown, read-only, реплика, блокировка nbackup. Заголовок читается и без соединения. Поэтому база в shutdown тоже видна, хотя соединений с ней нет. Клик по минуте на графике открывает тяжёлые запросы из trace и все соединения этой минуты.

    Страница базы. Строка с размером и sweep, ниже графики LWM (Light-weight Monitoring), транзакций и операций со страницами по минутам.

    Транзакции: сигнал до замедления

    Next − OAT растёт, пока одна транзакция долго открыта. Версии записей копятся, база начинает тормозить. Warning при разрыве 4 млн, serious при 8 млн. Долгую транзакцию легко найти в таблице соединений. OST − OIT растёт, когда сборка мусора не успевает, например нужен sweep.

    Счётчики транзакций OIT, OST, OAT и Next: разрыв Next минус OAT растёт, пока одна транзакция открыта
    • Метрики MON$Раз в час для активных баз: операции с записями, память по программам, самые тяжёлые соединения.
    • Версии клиентовРаз в день: какие клиентские библиотеки подключаются и сколько соединений у каждой.
    • gstat с анализомЧисло критичных находок и предупреждений по таблицам и индексам.
    • Прогноз роста«+25% за N дней» для самой быстрорастущей таблицы или индекса; красный, если 30 дней или меньше.
    Метрики MON$. Снимок по часу: вставки, обновления, удаления, мусор, память по программам и самые тяжёлые соединения.

    server_status

    Отчёт о здоровье сервера

    Строки — системы сервера, столбцы — время. За 24 часа клетка равна часу, за 7 дней — 4 часам, за 14 дней — 6 часам. Клетка показывает худший уровень за это время. Красный — serious, оранжевый — warning, зелёный — OK. Клик по клетке открывает снимок на этот момент.

    serious warning OK снимок в отчёте
    Что изменилось

    Новые, ухудшились, ушли

    Панель истории показывает, когда находка появилась, стала серьёзнее и ушла. Разовая ошибка в журнале видна сразу и держится час, с временем записи в тексте.

    Итоги периода

    Сколько длилась проблема

    Время в каждом уровне и таблица проблем: начало, конец, длительность, система. «Всё ещё активна» видно сразу.

    Находка

    Причина, подсказка, кнопка

    Текст находки называет объект: диск, папку, базу, пользователя, программу, версию клиента, запрос. Каждая подсказка называет действие. Рядом кнопка: добавить задачу бэкапа, указать папки поиска бэкапов, открыть задачу или настройку.

    Находки. Области с числом находок, ключевые показатели, карточки с подсказкой и кнопками.
    Системы. Панель на каждую систему: уровень, значение, полоса за период и находки снимка.
    • 18 системСервер, CPU, Память, Лимиты ОС, Диски, Скорость дисков, firebird.log, Ошибки trace, Транзакции и GC, Блокировки, Запросы, Подключения, Индексы, Бэкапы, Задачи fbagent, Репликация, Агент fbagent, Безопасность и лицензия. Если есть другие находки, появляется строка «Найденные проблемы».
    • Пороги на графикеДля CPU, памяти и скорости диска видны линии warning и serious.
    • Таблицы в панеляхДиски: тома и папки temp. Транзакции: базы с разрывом OIT/OAT и долгие транзакции с пользователем и процессом. Репликация: мастера и реплики с отставанием. Агент: его здоровье, очереди файлов и главные задачи.
    • Одна карточка на группу находокТри и больше однотипных находок одного уровня показаны одной карточкой. Значение стоит рядом с порогом: «476.5 MiB / 1 GiB».
    • Ошибки, запросы, бэкапыЧастые ошибки trace, самые медленные запросы со ссылкой на Perf Report, таблица находок по бэкапам.
    • Источники данныхДля каждого источника: состояние и возраст данных. Состояние пишется по-английски, например stale или missing. Устаревший или пропавший источник выделен. Тишина агента не выглядит как «всё хорошо».
    • Что не поднимает тревогу зряОчередь обработки у агента — не выше warning. Остановленный Firebird не делает серьёзным состояние самого агента: это отдельная находка.
    • Заголовок на дашбордеРядом со значком «Server status» стоит одна строка: главная находка и системы с находками. Клик открывает этот отчёт.

    ← Вернуться к обзору HQbird 2027 · Бэкапы подробно →