Стан сервера HQbird
Стан сервера за одну хвилину
Щохвилини агент збирає дані про сервер, ОС, диски та бази даних Firebird. Кожні 10 хвилин він порівнює ці дані з пороговими значеннями та записує знімок стану. Ви відкриваєте звіт і одразу бачите, що зламалося, коли і що робити.
- 1 хв метрики сервера та бази даних
- 10 хв знімок стану
- 18 систем у звіті
- 24 год · 7 · 14 днів історія
- лише читання моніторинг нічого не змінює на сервері
Сценарій
Хвилина адміністратора
Ранок. Користувачі кажуть, що вчора ввечері все працювало повільно. Чотири екрани HQ Monitor дають відповідь, поки ваша кава ще не охолола.
server_status
Як збираються дані
Агент працює на сервері Firebird і читає дані там, де вони є: лічильники ОС, cgroup та ETW, таблиці моніторингу MON$, trace, firebird.log, заголовки баз даних і результати власних завдань. Жодного окремого сервера моніторингу та жодних агентів усередині баз даних.
Кожні 10 хвилин агент збирає все у знімок стану. Кожна перевірка має два пороги: попередження та серйозний. Кожне виявлення має ключ, текст і підказку. Нову проблему видно після двох знімків поспіль, тобто приблизно через 20 хвилин. Аварійна ситуація, наприклад OOM або пошкодження бази даних, з'являється одразу. Знімок надходить до HQ Monitor разом з іншими даними.
- 1Збірщохвилини: CPU, пам'ять, диски, з'єднання, транзакції
- 2Знімоккожні 10 хвилин, середні та пікові значення за 10 хвилин
- 3Порогипопередження та серйозний; задаються в налаштуваннях агента
- 4Виявленнящо знайдено, де, підказка, кнопка дії
- 5✓ Звітматриця за 24 год, 7 або 14 днів; email від HQCenter
Важкі завдання самого агента (резервне копіювання, sweep, перевірка бази даних, тест диска) позначені на графіках. Повільна хвилина під час резервного копіювання не вважається проблемою користувача.
CPU · пам'ять · програми
Сервер і ОС
Повільна база даних часто не є провиною Firebird. HQ Monitor показує не лише навантаження на сервер, а й те, хто його створює: Firebird, сам агент чи інші програми та служби.
| Що ви бачите | Деталі | Поріг за замовчуванням |
|---|---|---|
| Версія та папка Firebird | Рядок версії у списку серверів; версія та папка встановлення на панелі керування. | — |
| CPU та load average | Щохвилини. CPU за програмами за 10 хвилин: Firebird, агент, інші, короткоживучі процеси. | 80% · 97% |
| Пам'ять | Використана, swap, тиск на пам'ять (PSI у Linux). Пам'ять за службами (Linux) або за програмами (Windows), файловий кеш, ядро. | 80% · 96% |
| OOM і swap | Лише Linux: процеси, вбиті OOM killer, та активний swap. | будь-який OOM — серйозний |
| Firebird у кеші ОС | Лише Linux, ядро 6.5+: скільки кожного файлу бази даних є в кеші ОС і чи відкрито файл з O_DIRECT. | — |
| Пам'ять Firebird і MON$ | Пам'ять процесу Firebird поряд із тим, що сам Firebird рахує в MON$MEMORY_USAGE. | — |
| Файлова система | Раз на день: тип файлової системи та розмір кластера для папок Firebird, баз даних і агента. | виявлення із зазначенням шляху |
TasksMax · NPROC · NOFILE · threads-max
Обмеження ОС: збій перед збоєм
«Firebird впав під навантаженням» часто означає: вичерпано обмеження ОС. Firebird не може створити потік або процес, нові з'єднання не встановлюються, і у firebird.log з'являється pthread_create failed.
У Linux агент щохвилини порівнює кожен сервер Firebird з обмеженнями ОС. Попередження від 80% ліміту, серйозний від 95%, за піковим значенням за 10 хвилин. Виявлення з'являється після двох знімків поспіль. Якщо ліміт уже відмовив у створенні процесу, це одразу серйозний рівень, без очікування.
Агент лише читає: він не змінює ліміти, не потребує root і не викликає systemctl. Підказка у знахідці містить готову команду для адміністратора.
Приклад: TasksMax = 4915, 3 потоки на з'єднання. Classic запускає процес для кожного з'єднання, тому він першим досягає TasksMax.
| Ліміт | Де він задається | Що станеться, коли він вичерпається |
|---|---|---|
| Задачі служби Firebird | TasksMax служби або батьківського slice | Classic не може прийняти нове з'єднання |
| Задачі користувача Firebird | LimitNPROC, limits.d | Створення потоку відхиляється |
| Задачі всього хоста | kernel.threads-max, pid_max | Відхиляється для всіх програм; threads-max обчислюється з RAM під час завантаження |
| Відкриті файли | LimitNOFILE | SuperServer і SuperClassic першими досягають цього ліміту |
| Пам'ять | ліміт пам'яті служби, RAM | OOM killer вбиває процес |
- Який рівень обмежуєСлужба або батьківський slice, наприклад system.slice.
- Власна частка агентаЙого задачі та його дочірні процеси gbak і fbsvcmgr рахуються окремо.
- Для ClassicПотоки на з'єднання та скільки ще з'єднань дозволяє ліміт.
- Без знахідки, для аналізуЗадачі, що чекають на диск, і час CPU, витрачений гіпервізором (steal).
Місце · temp · IO · затримка
Диски
Агент знає роль кожного диска: на ньому зберігаються бази даних, тимчасові файли Firebird або папка встановлення. Для цих дисків він рахує вільне місце, прогноз заповнення, затримку читання та запису, IOPS і те, хто навантажує диск.
- Вільне місцеПопередження нижче 5 ГБ, серйозно нижче 1 ГБ. Для кожної папки видно, на якому вона диску.
- Відсоток заповненняПопередження: диск заповнений на 90 % і вільно менш ніж 20 GiB. Серйозно: 97 % і менш ніж 5 GiB. Потрібні обидві умови, щоб великий диск із запасом місця не давав хибної тривоги.
- Диск швидко заповнюєтьсяПопередження, якщо за поточної швидкості диск заповниться менш ніж за 6 годин; серйозно, якщо менш ніж за 2. Звичайний нічний бекап не викликає тривоги. У знахідці вказано, хто писав на диск останні 10 хвилин.
- Тимчасові файли FirebirdСкільки і якого розміру, за типом: sort, blob, undo, lock. Попередження від 10 ГБ, серйозно від 50 ГБ. Видно, чи temp і бази даних на одному диску.
- Тест продуктивностіРаз на тиждень уночі: INSERT, UPDATE і DELETE мільйона записів у тимчасовій базі даних. Можна порівнювати результати різних тижнів.
- Затримка та IOPSЩохвилини для дисків із базами даних і temp. Читання: попередження від 20 мс, серйозно від 50 мс. Запис: попередження від 10 мс, серйозно від 30 мс. Середнє за 10 хвилин, при 10 IOPS або більше. Диск лише з temp — не вище попередження.
- Диск заповнено: запис у firebird.logПомилка “no space” у
firebird.logодразу дає серйозно і тримається 24 години. У знахідці вказано диск із найменшим вільним місцем. - Назва диска в WindowsДиск називається своєю літерою та міткою тому, наприклад
b: (DATA, Disk 2, database), а не GUID тому.
Якщо Firebird виконує менш ніж 20% читань або записів диска, диск навантажує інша програма. Тоді підказка у знахідці називає головного “сусіда” на диску та частку Firebird. Агент пише текст підказки англійською.
Хто навантажує диск
У Linux — за службою systemd, у Windows — за процесом. Рядок Firebird виділено. Якщо Firebird читає і пише мало, але диск зайнятий, причина — сусідня програма: антивірус, сторонній бекап, інша служба. У Windows записи проходять через системний кеш, тому там частка Firebird рахується лише за читанням.
Header · LWM · MON$ · gstat
Бази даних
Кожна база даних на сервері має власну сторінку: розмір, стан, sweep, розмір сторінки, діалект, власник, чи має вона власну базу даних безпеки. Чотири графіки за хвилинами: з'єднання та запити, транзакції, читання та запис сторінок, підготовка та виконання запитів.
Агент бере стан з MON$DATABASE або з заголовка файлу, залежно від того, що новіше: shutdown, read-only, replica, nbackup lock. Заголовок можна прочитати без з'єднання. Тож база даних у стані shutdown також видима, навіть якщо вона не має з'єднань. Клік на хвилині в графіку відкриває важкі запити з trace та всі з'єднання цієї хвилини.
Транзакції: сигнал перед уповільненням
Next − OAT зростає, поки одна транзакція залишається відкритою довгий час. Версії записів накопичуються, і база даних починає уповільнюватися. Попередження при розриві 4 мільйони, серйозне при 8 мільйонів. Довгу транзакцію легко знайти в таблиці з'єднань. OST − OIT зростає, коли збирання сміття не встигає, наприклад, коли потрібен sweep.
- Метрики MON$Раз на годину для активних баз даних: операції із записами, пам'ять за програмами, найважчі з'єднання.
- Версії клієнтівРаз на день: які клієнтські бібліотеки підключаються і скільки з'єднань має кожна з них.
- gstat з аналізомКількість критичних знахідок і попереджень для таблиць та індексів.
- Прогноз зростання«+25% за N днів» для найшвидше зростаючої таблиці або індексу; червоний, якщо 30 днів або менше.
server_status
Звіт про стан сервера
Рядки — це системи сервера, стовпці — час. Для 24 годин клітинка — це одна година, для 7 днів — 4 години, для 14 днів — 6 годин. Клітинка показує найгірший рівень за цей час. Червоний — серйозно, помаранчевий — попередження, зелений — OK. Клік на клітинці відкриває знімок на цей момент.
Нове, гірше, зникло
Панель історії показує, коли знахідка з'явилася, стала серйознішою та зникла. Одноразова помилка в журналі видима одразу і залишається на одну годину, із часом запису в тексті.
Скільки тривала проблема
Час на кожному рівні та таблиця проблем: початок, кінець, тривалість, система. «Все ще активна» видно одразу.
Причина, підказка, кнопка
Текст знахідки називає об'єкт: диск, папку, базу даних, користувача, програму, версію клієнта, запит. Кожна підказка називає дію. Поруч із нею — кнопка: додати завдання резервного копіювання, задати папки пошуку резервних копій, відкрити завдання або налаштування.
- 18 системСервер, CPU, Пам'ять, Обмеження ОС, Диски, Швидкість диска, firebird.log, Помилки Trace, Транзакції та GC, Блокування, Запити, З'єднання, Індекси, Резервні копії, Завдання fbagent, Реплікація, Агент fbagent, Безпека та ліцензія. Якщо є інші знахідки, з'являється рядок «Інші знахідки».
- Пороги на графікуДля CPU, пам'яті та швидкості диска ви бачите лінії попередження та серйозного рівня.
- Таблиці на панеляхДиски: томи та тимчасові папки. Транзакції: бази даних із розривом OIT/OAT і довгі транзакції з користувачем і процесом. Реплікація: майстри та репліки із затримкою. Агент: його стан, файлові черги та основні завдання.
- Одна картка для групи знахідокТри або більше знахідок одного типу й одного рівня показуються як одна картка. Значення стоїть поруч із порогом: «476.5 MiB / 1 GiB».
- Помилки, запити, резервні копіїЧасті помилки trace, найповільніші запити з посиланням на Perf Report, таблиця знахідок резервного копіювання.
- Джерела данихДля кожного джерела: стан і вік даних. Стан англійською, наприклад stale або missing. Застаріле або відсутнє джерело виділено. Мовчазний агент не виглядає як «усе гаразд».
- Що не викликає хибної тривогиЧерга обробки агента не перевищує рівня попередження. Зупинений Firebird не робить стан самого агента критичним: це окреме виявлення.
- Заголовок на панелі моніторингуПоруч із іконкою «Server status» є один рядок: головне виявлення та системи з виявленнями. Клік відкриває цей звіт.