Цю сторінку перекладено машинним перекладом. Читайте англійський оригінал. English

Стан сервера за одну хвилину

Щохвилини агент збирає дані про сервер, ОС, диски та бази даних Firebird. Кожні 10 хвилин він порівнює ці дані з пороговими значеннями та записує знімок стану. Ви відкриваєте звіт і одразу бачите, що зламалося, коли і що робити.

  • 1 хв метрики сервера та бази даних
  • 10 хв знімок стану
  • 18 систем у звіті
  • 24 год · 7 · 14 днів історія
  • лише читання моніторинг нічого не змінює на сервері

Сценарій

Хвилина адміністратора

Ранок. Користувачі кажуть, що вчора ввечері все працювало повільно. Чотири екрани HQ Monitor дають відповідь, поки ваша кава ще не охолола.

    server_status

    Як збираються дані

    Агент працює на сервері Firebird і читає дані там, де вони є: лічильники ОС, cgroup та ETW, таблиці моніторингу MON$, trace, firebird.log, заголовки баз даних і результати власних завдань. Жодного окремого сервера моніторингу та жодних агентів усередині баз даних.

    Кожні 10 хвилин агент збирає все у знімок стану. Кожна перевірка має два пороги: попередження та серйозний. Кожне виявлення має ключ, текст і підказку. Нову проблему видно після двох знімків поспіль, тобто приблизно через 20 хвилин. Аварійна ситуація, наприклад OOM або пошкодження бази даних, з'являється одразу. Знімок надходить до HQ Monitor разом з іншими даними.

    1. 1Збірщохвилини: CPU, пам'ять, диски, з'єднання, транзакції
    2. 2Знімоккожні 10 хвилин, середні та пікові значення за 10 хвилин
    3. 3Порогипопередження та серйозний; задаються в налаштуваннях агента
    4. 4Виявленнящо знайдено, де, підказка, кнопка дії
    5. 5✓ Звітматриця за 24 год, 7 або 14 днів; email від HQCenter

    Важкі завдання самого агента (резервне копіювання, sweep, перевірка бази даних, тест диска) позначені на графіках. Повільна хвилина під час резервного копіювання не вважається проблемою користувача.

    CPU · пам'ять · програми

    Сервер і ОС

    Повільна база даних часто не є провиною Firebird. HQ Monitor показує не лише навантаження на сервер, а й те, хто його створює: Firebird, сам агент чи інші програми та служби.

    Що ви бачитеДеталіПоріг за замовчуванням
    Версія та папка FirebirdРядок версії у списку серверів; версія та папка встановлення на панелі керування.—
    CPU та load averageЩохвилини. CPU за програмами за 10 хвилин: Firebird, агент, інші, короткоживучі процеси.80% · 97%
    Пам'ятьВикористана, swap, тиск на пам'ять (PSI у Linux). Пам'ять за службами (Linux) або за програмами (Windows), файловий кеш, ядро.80% · 96%
    OOM і swapЛише Linux: процеси, вбиті OOM killer, та активний swap.будь-який OOM — серйозний
    Firebird у кеші ОСЛише Linux, ядро 6.5+: скільки кожного файлу бази даних є в кеші ОС і чи відкрито файл з O_DIRECT.—
    Пам'ять Firebird і MON$Пам'ять процесу Firebird поряд із тим, що сам Firebird рахує в MON$MEMORY_USAGE.—
    Файлова системаРаз на день: тип файлової системи та розмір кластера для папок Firebird, баз даних і агента.виявлення із зазначенням шляху
    CPU за програмами. Частка Firebird, агента та інших програм за 10 хвилин і за весь період.
    Хто використовує пам'ять. Служби з обмеженнями пам'яті, swap, OOM і тиск на пам'ять. Видно, що більшість RAM — це файловий кеш.

    TasksMax · NPROC · NOFILE · threads-max

    Обмеження ОС: збій перед збоєм

    «Firebird впав під навантаженням» часто означає: вичерпано обмеження ОС. Firebird не може створити потік або процес, нові з'єднання не встановлюються, і у firebird.log з'являється pthread_create failed.

    У Linux агент щохвилини порівнює кожен сервер Firebird з обмеженнями ОС. Попередження від 80% ліміту, серйозний від 95%, за піковим значенням за 10 хвилин. Виявлення з'являється після двох знімків поспіль. Якщо ліміт уже відмовив у створенні процесу, це одразу серйозний рівень, без очікування.

    Агент лише читає: він не змінює ліміти, не потребує root і не викликає systemctl. Підказка у знахідці містить готову команду для адміністратора.

    задачі: 0TasksMax: 4915використано: 0%

    Приклад: TasksMax = 4915, 3 потоки на з'єднання. Classic запускає процес для кожного з'єднання, тому він першим досягає TasksMax.

    ЛімітДе він задаєтьсяЩо станеться, коли він вичерпається
    Задачі служби FirebirdTasksMax служби або батьківського sliceClassic не може прийняти нове з'єднання
    Задачі користувача FirebirdLimitNPROC, limits.dСтворення потоку відхиляється
    Задачі всього хостаkernel.threads-max, pid_maxВідхиляється для всіх програм; threads-max обчислюється з RAM під час завантаження
    Відкриті файлиLimitNOFILESuperServer і SuperClassic першими досягають цього ліміту
    Пам'ятьліміт пам'яті служби, RAMOOM killer вбиває процес
    • Який рівень обмежуєСлужба або батьківський slice, наприклад system.slice.
    • Власна частка агентаЙого задачі та його дочірні процеси gbak і fbsvcmgr рахуються окремо.
    • Для ClassicПотоки на з'єднання та скільки ще з'єднань дозволяє ліміт.
    • Без знахідки, для аналізуЗадачі, що чекають на диск, і час CPU, витрачений гіпервізором (steal).

    Місце · temp · IO · затримка

    Диски

    Агент знає роль кожного диска: на ньому зберігаються бази даних, тимчасові файли Firebird або папка встановлення. Для цих дисків він рахує вільне місце, прогноз заповнення, затримку читання та запису, IOPS і те, хто навантажує диск.

    Вільне місце падає три дні поспіль; прогноз показує, через скільки днів диск заповниться
    Прогноз заповнення. На основі вільного місця за останні 3 дні. Попередження, якщо диск заповниться менш ніж за 7 днів, серйозно, якщо менш ніж за 2.
    • Вільне місцеПопередження нижче 5 ГБ, серйозно нижче 1 ГБ. Для кожної папки видно, на якому вона диску.
    • Відсоток заповненняПопередження: диск заповнений на 90 % і вільно менш ніж 20 GiB. Серйозно: 97 % і менш ніж 5 GiB. Потрібні обидві умови, щоб великий диск із запасом місця не давав хибної тривоги.
    • Диск швидко заповнюєтьсяПопередження, якщо за поточної швидкості диск заповниться менш ніж за 6 годин; серйозно, якщо менш ніж за 2. Звичайний нічний бекап не викликає тривоги. У знахідці вказано, хто писав на диск останні 10 хвилин.
    • Тимчасові файли FirebirdСкільки і якого розміру, за типом: sort, blob, undo, lock. Попередження від 10 ГБ, серйозно від 50 ГБ. Видно, чи temp і бази даних на одному диску.
    • Тест продуктивностіРаз на тиждень уночі: INSERT, UPDATE і DELETE мільйона записів у тимчасовій базі даних. Можна порівнювати результати різних тижнів.
    • Затримка та IOPSЩохвилини для дисків із базами даних і temp. Читання: попередження від 20 мс, серйозно від 50 мс. Запис: попередження від 10 мс, серйозно від 30 мс. Середнє за 10 хвилин, при 10 IOPS або більше. Диск лише з temp — не вище попередження.
    • Диск заповнено: запис у firebird.logПомилка “no space” у firebird.log одразу дає серйозно і тримається 24 години. У знахідці вказано диск із найменшим вільним місцем.
    • Назва диска в WindowsДиск називається своєю літерою та міткою тому, наприклад b: (DATA, Disk 2, database), а не GUID тому.
    Затримка читання/запису диска з базою даних за 1 год: пороги запису 10 і 30 мс, смуга роботи агента
    читання, мс запис, мс виконувалася робота агента пунктир: пороги запису, попередження 10 мс і серйозно 30 мс (середні за 10 хвилин); пороги читання — 20 і 50 мс

    Якщо Firebird виконує менш ніж 20% читань або записів диска, диск навантажує інша програма. Тоді підказка у знахідці називає головного “сусіда” на диску та частку Firebird. Агент пише текст підказки англійською.

    Хто навантажує диск

    У Linux — за службою systemd, у Windows — за процесом. Рядок Firebird виділено. Якщо Firebird читає і пише мало, але диск зайнятий, причина — сусідня програма: антивірус, сторонній бекап, інша служба. У Windows записи проходять через системний кеш, тому там частка Firebird рахується лише за читанням.

    Хто використовує диск. Читання та записи кожної служби та її частка роботи диска.
    Диски на дашборді. Тимчасові файли, місце, затримка з IOPS і швидкість; пунктирні лінії показують читання та записи самого Firebird.

    Header · LWM · MON$ · gstat

    Бази даних

    Кожна база даних на сервері має власну сторінку: розмір, стан, sweep, розмір сторінки, діалект, власник, чи має вона власну базу даних безпеки. Чотири графіки за хвилинами: з'єднання та запити, транзакції, читання та запис сторінок, підготовка та виконання запитів.

    Агент бере стан з MON$DATABASE або з заголовка файлу, залежно від того, що новіше: shutdown, read-only, replica, nbackup lock. Заголовок можна прочитати без з'єднання. Тож база даних у стані shutdown також видима, навіть якщо вона не має з'єднань. Клік на хвилині в графіку відкриває важкі запити з trace та всі з'єднання цієї хвилини.

    Сторінка бази даних. Рядок із розміром і sweep; нижче — графіки за хвилинами для LWM (Light-weight Monitoring), транзакцій і операцій зі сторінками.

    Транзакції: сигнал перед уповільненням

    Next − OAT зростає, поки одна транзакція залишається відкритою довгий час. Версії записів накопичуються, і база даних починає уповільнюватися. Попередження при розриві 4 мільйони, серйозне при 8 мільйонів. Довгу транзакцію легко знайти в таблиці з'єднань. OST − OIT зростає, коли збирання сміття не встигає, наприклад, коли потрібен sweep.

    OIT, OST, OAT and Next counters: the Next minus OAT gap grows while one transaction is open
    • Метрики MON$Раз на годину для активних баз даних: операції із записами, пам'ять за програмами, найважчі з'єднання.
    • Версії клієнтівРаз на день: які клієнтські бібліотеки підключаються і скільки з'єднань має кожна з них.
    • gstat з аналізомКількість критичних знахідок і попереджень для таблиць та індексів.
    • Прогноз зростання«+25% за N днів» для найшвидше зростаючої таблиці або індексу; червоний, якщо 30 днів або менше.
    Метрики MON$. Знімок за годинами: вставки, оновлення, видалення, сміття, пам'ять за програмами та найважчі з'єднання.

    server_status

    Звіт про стан сервера

    Рядки — це системи сервера, стовпці — час. Для 24 годин клітинка — це одна година, для 7 днів — 4 години, для 14 днів — 6 годин. Клітинка показує найгірший рівень за цей час. Червоний — серйозно, помаранчевий — попередження, зелений — OK. Клік на клітинці відкриває знімок на цей момент.

    серйозно попередження OK знімок у звіті
    Що змінилося

    Нове, гірше, зникло

    Панель історії показує, коли знахідка з'явилася, стала серйознішою та зникла. Одноразова помилка в журналі видима одразу і залишається на одну годину, із часом запису в тексті.

    Підсумки за період

    Скільки тривала проблема

    Час на кожному рівні та таблиця проблем: початок, кінець, тривалість, система. «Все ще активна» видно одразу.

    Знахідка

    Причина, підказка, кнопка

    Текст знахідки називає об'єкт: диск, папку, базу даних, користувача, програму, версію клієнта, запит. Кожна підказка називає дію. Поруч із нею — кнопка: додати завдання резервного копіювання, задати папки пошуку резервних копій, відкрити завдання або налаштування.

    Знахідки. Області з кількістю знахідок, ключові показники, картки з підказкою та кнопками.
    Системи. Панель для кожної системи: рівень, значення, смуга за період і знахідки знімка.
    • 18 системСервер, CPU, Пам'ять, Обмеження ОС, Диски, Швидкість диска, firebird.log, Помилки Trace, Транзакції та GC, Блокування, Запити, З'єднання, Індекси, Резервні копії, Завдання fbagent, Реплікація, Агент fbagent, Безпека та ліцензія. Якщо є інші знахідки, з'являється рядок «Інші знахідки».
    • Пороги на графікуДля CPU, пам'яті та швидкості диска ви бачите лінії попередження та серйозного рівня.
    • Таблиці на панеляхДиски: томи та тимчасові папки. Транзакції: бази даних із розривом OIT/OAT і довгі транзакції з користувачем і процесом. Реплікація: майстри та репліки із затримкою. Агент: його стан, файлові черги та основні завдання.
    • Одна картка для групи знахідокТри або більше знахідок одного типу й одного рівня показуються як одна картка. Значення стоїть поруч із порогом: «476.5 MiB / 1 GiB».
    • Помилки, запити, резервні копіїЧасті помилки trace, найповільніші запити з посиланням на Perf Report, таблиця знахідок резервного копіювання.
    • Джерела данихДля кожного джерела: стан і вік даних. Стан англійською, наприклад stale або missing. Застаріле або відсутнє джерело виділено. Мовчазний агент не виглядає як «усе гаразд».
    • Що не викликає хибної тривогиЧерга обробки агента не перевищує рівня попередження. Зупинений Firebird не робить стан самого агента критичним: це окреме виявлення.
    • Заголовок на панелі моніторингуПоруч із іконкою «Server status» є один рядок: головне виявлення та системи з виявленнями. Клік відкриває цей звіт.

    ← Назад до огляду HQbird 2027 · Резервні копії докладніше →