Состояние сервера HQbird
Состояние сервера за одну минуту
Агент каждую минуту собирает данные о сервере, ОС, дисках и базах Firebird. Каждые 10 минут он сравнивает их с порогами и пишет снимок состояния. Вы открываете отчёт и сразу видите, что сломалось, когда и что делать.
- 1 мин метрики сервера и баз
- 10 мин снимок состояния
- 18 систем в отчёте
- 24 ч · 7 · 14 дней история
- только чтение мониторинг ничего не меняет на сервере
Сценарий
Минута администратора
Утро. Пользователи говорят, что ночью всё тормозило. Четыре экрана HQ Monitor дают ответ раньше, чем остынет кофе.
server_status
Как собираются данные
Агент стоит на сервере Firebird и читает данные там, где они есть: счётчики ОС, cgroup и ETW, мониторинговые таблицы MON$, trace, firebird.log, заголовки баз, результаты своих заданий. Без отдельного сервера мониторинга и без агентов в базах.
Раз в 10 минут агент сводит всё в снимок состояния. У каждой проверки два порога: warning и serious. Каждая находка имеет ключ, текст и подсказку. Новая проблема появляется после двух снимков подряд, то есть примерно через 20 минут. Авария, например OOM или повреждение базы, появляется сразу. Снимок уходит в HQ Monitor вместе с остальными данными.
- 1Сборкаждую минуту: CPU, память, диски, соединения, транзакции
- 2Снимоккаждые 10 минут, средние и пики за 10 минут
- 3Порогиwarning и serious; меняются в настройках агента
- 4Находкачто найдено, где, подсказка, кнопка действия
- 5✓ Отчётматрица за 24 ч, 7 или 14 дней; письмо из HQCenter
Тяжёлые задания самого агента (бэкап, sweep, проверка базы, тест диска) отмечаются на графиках. Медленная минута во время бэкапа не считается проблемой пользователей.
CPU · память · программы
Сервер и ОС
Медленная база часто страдает не из-за Firebird. HQ Monitor показывает не только загрузку сервера, но и кто её создаёт: Firebird, сам агент или другие программы и службы.
| Что видно | Подробности | Порог по умолчанию |
|---|---|---|
| Версия и папка Firebird | Строка версии в списке серверов; версия и папка установки на дашборде. | — |
| CPU и load average | Каждую минуту. CPU по программам за 10 минут: Firebird, агент, другие, короткие процессы. | 80% · 97% |
| Память | Использовано, swap, ожидание памяти (PSI на Linux). Память по службам (Linux) или программам (Windows), файловый кэш, ядро. | 80% · 96% |
| OOM и swap | Только Linux: процессы, которые убил OOM killer, и активный swap. | любой OOM — serious |
| Firebird в кэше ОС | Только Linux, ядро 6.5+: сколько каждого файла базы лежит в кэше ОС и открыт ли файл с O_DIRECT. | — |
| Память Firebird и MON$ | Память процесса Firebird рядом с тем, что Firebird сам считает в MON$MEMORY_USAGE. | — |
| Файловая система | Раз в день: тип файловой системы и размер кластера для папок Firebird, баз и агента. | находка с путём |
TasksMax · NPROC · NOFILE · threads-max
Лимиты ОС: авария до аварии
«Firebird упал под нагрузкой» часто значит: кончился лимит ОС. Firebird не может создать поток или процесс, новые соединения не проходят, а в firebird.log появляется pthread_create failed.
На Linux агент раз в минуту сравнивает каждый сервер Firebird с лимитами ОС. Warning с 80% лимита, serious с 95%, по пику за 10 минут. Находка появляется после двух снимков подряд. Если лимит уже отказал в создании процесса, это serious сразу, без ожидания.
Агент только читает: он не меняет лимиты, не требует root и не вызывает systemctl. Подсказка находки даёт готовую команду для администратора.
Условный пример: TasksMax = 4915, 3 потока на соединение. Classic запускает процесс на каждое соединение, поэтому первым упирается в TasksMax.
| Лимит | Где задаётся | Что бывает при нехватке |
|---|---|---|
| Задачи службы Firebird | TasksMax службы или родительского slice | Classic не может принять новое соединение |
| Задачи пользователя Firebird | LimitNPROC, limits.d | Отказ в создании потока |
| Задачи всего хоста | kernel.threads-max, pid_max | Отказ для всех программ; threads-max рассчитан на RAM при загрузке |
| Открытые файлы | LimitNOFILE | SuperServer и SuperClassic упираются сюда первыми |
| Память | лимит памяти службы, RAM | OOM killer убивает процесс |
- Какой уровень ограничиваетСлужба или родительский slice, например system.slice.
- Доля самого агентаЕго задачи и дочерние gbak и fbsvcmgr считаются отдельно.
- Для ClassicПотоков на соединение и сколько соединений лимит ещё позволит.
- Без находки, для разбораЗадачи, ждущие диска, и время CPU, которое забрал гипервизор (steal).
Место · temp · IO · задержки
Диски
Агент знает роль каждого диска: на нём базы, временные файлы Firebird или папка установки. Для этих дисков он считает свободное место, прогноз заполнения, задержки чтения и записи, IOPS и кто нагружает диск.
- Свободное местоWarning меньше 5 ГБ, serious меньше 1 ГБ. Для каждой папки видно, на каком она диске.
- Процент заполненияWarning: диск заполнен на 90 % и свободно меньше 20 ГиБ. Serious: 97 % и меньше 5 ГиБ. Нужны оба условия, поэтому большой диск с запасом не даёт ложной тревоги.
- Диск быстро заполняетсяWarning, если при текущей скорости диск заполнится меньше чем за 6 часов, serious — меньше чем за 2. Обычный ночной бэкап тревогу не поднимает. Находка называет, кто писал на диск последние 10 минут.
- Временные файлы FirebirdСколько и какого размера, по видам: sort, blob, undo, lock. Warning от 10 ГБ, serious от 50 ГБ. Видно, на одном ли диске temp и базы.
- Тест производительностиРаз в неделю ночью: INSERT, UPDATE и DELETE миллиона записей во временной базе. Результаты разных недель можно сравнить.
- Задержки и IOPSКаждую минуту для дисков с базами и temp. Чтение: warning от 20 мс, serious от 50 мс. Запись: warning от 10 мс, serious от 30 мс. Среднее за 10 минут, при 10 IOPS и больше. Диск только с temp — не выше warning.
- Диск заполнен: запись в firebird.logОшибка «нет места» в
firebird.logсразу даёт serious и держится 24 часа. Находка называет диск, где места меньше всего. - Имя диска в WindowsДиск назван буквой и меткой тома, например
b: (DATA, Disk 2, database), а не GUID тома.
Если Firebird даёт меньше 20% чтения или записи диска, диск нагружает другая программа. Тогда подсказка находки называет главного «соседа» по диску и долю Firebird. Текст подсказки агент пишет на английском.
Кто нагружает диск
На Linux по службам systemd, на Windows по процессам. Строка Firebird выделена. Если Firebird читает и пишет мало, а диск занят, причина в соседней программе: антивирус, чужой бэкап, другая служба. На Windows запись идёт через кэш системы, поэтому там доля Firebird считается только по чтению.
Заголовок · LWM · MON$ · gstat
Базы данных
Каждая база на сервере имеет свою страницу: размер, состояние, sweep, размер страницы, диалект, владелец, своя ли security DB. Четыре графика по минутам: соединения и запросы, транзакции, чтения и записи страниц, подготовка и выполнение запросов.
Состояние агент берёт из MON$DATABASE или из заголовка файла, что новее: shutdown, read-only, реплика, блокировка nbackup. Заголовок читается и без соединения. Поэтому база в shutdown тоже видна, хотя соединений с ней нет. Клик по минуте на графике открывает тяжёлые запросы из trace и все соединения этой минуты.
Транзакции: сигнал до замедления
Next − OAT растёт, пока одна транзакция долго открыта. Версии записей копятся, база начинает тормозить. Warning при разрыве 4 млн, serious при 8 млн. Долгую транзакцию легко найти в таблице соединений. OST − OIT растёт, когда сборка мусора не успевает, например нужен sweep.
- Метрики MON$Раз в час для активных баз: операции с записями, память по программам, самые тяжёлые соединения.
- Версии клиентовРаз в день: какие клиентские библиотеки подключаются и сколько соединений у каждой.
- gstat с анализомЧисло критичных находок и предупреждений по таблицам и индексам.
- Прогноз роста«+25% за N дней» для самой быстрорастущей таблицы или индекса; красный, если 30 дней или меньше.
server_status
Отчёт о здоровье сервера
Строки — системы сервера, столбцы — время. За 24 часа клетка равна часу, за 7 дней — 4 часам, за 14 дней — 6 часам. Клетка показывает худший уровень за это время. Красный — serious, оранжевый — warning, зелёный — OK. Клик по клетке открывает снимок на этот момент.
Новые, ухудшились, ушли
Панель истории показывает, когда находка появилась, стала серьёзнее и ушла. Разовая ошибка в журнале видна сразу и держится час, с временем записи в тексте.
Сколько длилась проблема
Время в каждом уровне и таблица проблем: начало, конец, длительность, система. «Всё ещё активна» видно сразу.
Причина, подсказка, кнопка
Текст находки называет объект: диск, папку, базу, пользователя, программу, версию клиента, запрос. Каждая подсказка называет действие. Рядом кнопка: добавить задачу бэкапа, указать папки поиска бэкапов, открыть задачу или настройку.
- 18 системСервер, CPU, Память, Лимиты ОС, Диски, Скорость дисков, firebird.log, Ошибки trace, Транзакции и GC, Блокировки, Запросы, Подключения, Индексы, Бэкапы, Задачи fbagent, Репликация, Агент fbagent, Безопасность и лицензия. Если есть другие находки, появляется строка «Найденные проблемы».
- Пороги на графикеДля CPU, памяти и скорости диска видны линии warning и serious.
- Таблицы в панеляхДиски: тома и папки temp. Транзакции: базы с разрывом OIT/OAT и долгие транзакции с пользователем и процессом. Репликация: мастера и реплики с отставанием. Агент: его здоровье, очереди файлов и главные задачи.
- Одна карточка на группу находокТри и больше однотипных находок одного уровня показаны одной карточкой. Значение стоит рядом с порогом: «476.5 MiB / 1 GiB».
- Ошибки, запросы, бэкапыЧастые ошибки trace, самые медленные запросы со ссылкой на Perf Report, таблица находок по бэкапам.
- Источники данныхДля каждого источника: состояние и возраст данных. Состояние пишется по-английски, например stale или missing. Устаревший или пропавший источник выделен. Тишина агента не выглядит как «всё хорошо».
- Что не поднимает тревогу зряОчередь обработки у агента — не выше warning. Остановленный Firebird не делает серьёзным состояние самого агента: это отдельная находка.
- Заголовок на дашбордеРядом со значком «Server status» стоит одна строка: главная находка и системы с находками. Клик открывает этот отчёт.