Здравље HQbird сервера
Здравље сервера за један минут
Сваког минута агент прикупља податке о серверу, ОС-у, дисковима и базама података Firebird. Сваких 10 минута упоређује те податке са граничним вредностима и бележи снимак стања. Отворите извештај и одмах видите шта се покварило, када и шта да радите.
- 1 мин метрике сервера и базе података
- 10 мин снимак стања
- 18 система у извештају
- 24 ч · 7 · 14 дана историја
- само читање надгледање ништа не мења на серверу
Сценарио
Администраторов минут
Јутро. Корисници кажу да је све било споро синоћ. Четири екрана HQ Monitor дају одговор пре него што се кафа охлади.
server_status
Како се прикупљају подаци
Агент ради на серверу Firebird и чита податке тамо где се налазе: бројаче ОС-а, cgroup и ETW, MON$ табеле за надгледање, trace, firebird.log, заглавља база података и резултате сопствених задатака. Без посебног сервера за надгледање и без агената унутар база података.
Сваких 10 минута агент све ставља у снимак стања. Свака провера има две граничне вредности: упозорење и озбиљно. Сваки налаз има кључ, текст и савет. Нови проблем се појављује након два узастопна снимка, дакле после око 20 минута. Ванредна ситуација, на пример OOM или оштећење базе података, појављује се одмах. Снимак се шаље у HQ Monitor заједно са осталим подацима.
- 1Прикупљањесваког минута: CPU, меморија, дискови, конекције, трансакције
- 2Снимаксваких 10 минута, просеци и врхунци за 10 минута
- 3Граничне вредностиупозорење и озбиљно; подешавају се у поставкама агента
- 4Налазшта је пронађено, где, савет, дугме за акцију
- 5✓ Извештајматрица за 24 ч, 7 или 14 дана; имејл из HQCenter
Тешки задаци самог агента (резервна копија, sweep, провера базе података, тест диска) су означени на графиконима. Спор минут током прављења резервне копије не рачуна се као проблем корисника.
CPU · меморија · програми
Сервер и ОС
Спора база података често није кривица Firebird-а. HQ Monitor приказује не само оптерећење сервера, већ и ко га ствара: Firebird, сам агент или други програми и сервиси.
| Шта видите | Детаљи | Подразумевана гранична вредност |
|---|---|---|
| Верзија и фасцикла Firebird-а | Ниска верзије на листи сервера; верзија и фасцикла инсталације на контролној табли. | — |
| CPU и просечно оптерећење | Сваког минута. CPU по програму за 10 минута: Firebird, агент, остали, краткотрајни процеси. | 80% · 97% |
| Меморија | Искоришћено, swap, притисак на меморију (PSI на Linux-у). Меморија по сервису (Linux) или по програму (Windows), кеш датотека, кернел. | 80% · 96% |
| OOM и swap | Само Linux: процеси које је убио OOM killer и активни swap. | било који OOM — озбиљно |
| Firebird у кешу ОС-а | Само Linux, кернел 6.5+: колико је сваке датотеке базе података у кешу ОС-а и да ли је датотека отворена са O_DIRECT. | — |
| Меморија Firebird-а и MON$ | Меморија процеса Firebird-а поред онога што сам Firebird броји у MON$MEMORY_USAGE. | — |
| Датотечни систем | Једном дневно: тип датотечног система и величина кластера за фасцикле Firebird-а, база података и агента. | налаз са путањом |
TasksMax · NPROC · NOFILE · threads-max
Ограничења ОС-а: отказ пре отказа
„Firebird се срушио под оптерећењем“ често значи: понестало је ограничење ОС-а. Firebird не може да створи нит или процес, нове конекције не успевају, а у firebird.log се појављује pthread_create failed.
На Linux-у агент упоређује сваки сервер Firebird са ограничењима ОС-а једном у минути. Упозорење од 80% ограничења, озбиљно од 95%, по врхунцу за 10 минута. Налаз се појављује након два узастопна снимка. Ако је ограничење већ одбило стварање процеса, то је озбиљно одмах, без чекања.
Агент само чита: не мења лимите, не захтева root и не позива systemctl. У налазу, предлог даје готову команду за администратора.
Пример: TasksMax = 4915, 3 нити по вези. Classic покреће процес за сваку везу, па прво удара у TasksMax.
| Лимит | Где се поставља | Шта се дешава када се потроши |
|---|---|---|
| Задаци Firebird сервиса | TasksMax сервиса или родитељског slice-а | Classic не може да прихвати нову везу |
| Задаци Firebird корисника | LimitNPROC, limits.d | Креирање нити се одбија |
| Задаци целог хоста | kernel.threads-max, pid_max | Одбија се за све програме; threads-max се израчунава из RAM-а при подизању |
| Отворени фајлови | LimitNOFILE | SuperServer и SuperClassic прво ударају у овај лимит |
| Меморија | лимит меморије сервиса, RAM | OOM killer убија процес |
- Који ниво лимитираСервис или родитељски slice, на пример system.slice.
- Сопствени део агентаЊегови задаци и његови подређени gbak и fbsvcmgr процеси се броје одвојено.
- За ClassicНити по вези и колико још веза лимит дозвољава.
- Без налаза, за анализуЗадаци који чекају на диск и CPU време које узима хипервизор (steal).
Простор · temp · IO · кашњење
Дискови
Агент зна улогу сваког диска: на њему су базе података, Firebird привремени фајлови или фасцикла инсталације. За те дискове броји слободан простор, прогнозу попуњавања, кашњење читања и писања, IOPS и ко оптерећује диск.
- Слободан просторУпозорење испод 5 GB, озбиљно испод 1 GB. За сваку фасциклу видите на ком је диску.
- Проценат попуњеностиУпозорење: диск је 90 % пун и мање од 20 GiB је слободно. Озбиљно: 97 % и мање од 5 GiB. Потребна су оба услова, па велики диск са резервом простора не даје лажни аларм.
- Диск се брзо пуниУпозорење ако се при тренутној брзини диск напуни за мање од 6 сати; озбиљно ако за мање од 2. Нормалан ноћни backup не подиже аларм. Налаз именује ко је писао на диск у последњих 10 минута.
- Firebird привремени фајловиКолико их је и колики су, по типу: sort, blob, undo, lock. Упозорење од 10 GB, озбиљно од 50 GB. Видите да ли су temp и базе на истом диску.
- Тест перформансиЈедном недељно ноћу: INSERT, UPDATE и DELETE милион записа у привременој бази. Можете упоредити резултате различитих недеља.
- Кашњење и IOPSСваког минута за дискове са базама и temp. Читање: упозорење од 20 ms, озбиљно од 50 ms. Писање: упозорење од 10 ms, озбиљно од 30 ms. Просек за 10 минута, при 10 IOPS или више. Диск само са temp — не изнад упозорења.
- Диск пун: запис у firebird.logГрешка „no space“ у
firebird.logдаје одмах озбиљно и остаје 24 сата. Налаз именује диск са најмање слободног простора. - Назив диска у Windows-уДиск се именује словом и ознаком волумена, на пример
b: (DATA, Disk 2, database), а не GUID-ом волумена.
Ако Firebird обавља мање од 20% читања или писања на диску, диск оптерећује други програм. Тада предлог у налазу именује главног „суседа“ на диску и удео Firebird-а. Агент пише текст предлога на енглеском.
Ко оптерећује диск
На Linux-у по systemd сервису, на Windows-у по процесу. Ред Firebird-а је истакнут. Ако Firebird мало чита и пише, а диск је заузет, узрок је суседни програм: антивирус, туђи backup, други сервис. На Windows-у писања иду кроз системски кеш, па се тамо удео Firebird-а рачуна само по читањима.
Header · LWM · MON$ · gstat
База података
Свака база података на серверу има своју страницу: величина, стање, sweep, величина странице, дијалект, власник, да ли има сопствену security базу. Четири графикона по минуту: конекције и упити, трансакције, читања и писања страница, припрема и извршавање упита.
Агент узима стање из MON$DATABASE или из заглавља датотеке, шта год је новије: shutdown, read-only, реплика, nbackup закључавање. Заглавље се може прочитати без конекције. Тако је и база података у shutdown стању видљива, иако нема конекција. Клик на минут на графикону отвара тешке упите из trace-а и све конекције тог минута.
Трансакције: сигнал пре успоравања
Next − OAT расте док једна трансакција остаје отворена дуго времена. Верзије записа се гомилају, и база података почиње да успорава. Упозорење при разлици од 4 милиона, озбиљно при 8 милиона. Дуготрајну трансакцију је лако пронаћи у табели конекција. OST − OIT расте када сакупљање смећа не може да испрати, на пример када је потребан sweep.
- MON$ метрикеЈедном на сат за активне базе података: операције записа, меморија по програму, најтеже конекције.
- Верзије клијенатаЈедном дневно: које клијентске библиотеке се повезују и колико конекција има свака.
- gstat са анализомБрој критичних налаза и упозорења за табеле и индексе.
- Прогноза раста„+25% за N дана“ за најбрже растућу табелу или индекс; црвено ако је 30 дана или мање.
server_status
Извештај о здрављу сервера
Редови су системи сервера, колоне су време. За 24 сата ћелија је један сат, за 7 дана то је 4 сата, за 14 дана то је 6 сати. Ћелија приказује најгори ниво за то време. Црвено је озбиљно, наранџасто је упозорење, зелено је OK. Клик на ћелију отвара снимак за тај тренутак.
Ново, горе, нестало
Панел историје приказује када се налаз појавио, постао озбиљнији и нестао. Једнократна грешка у логу је одмах видљива и остаје један сат, са временом уноса у тексту.
Колико је проблем трајао
Време у сваком нивоу и табела проблема: почетак, крај, трајање, систем. „Још активно“ је одмах видљиво.
Узрок, савет, дугме
Текст налаза именује објекат: диск, фасциклу, базу података, корисника, програм, верзију клијента, упит. Сваки савет именује радњу. Поред њега је дугме: додај задатак резервне копије, подеси фасцикле за претрагу резервних копија, отвори задатак или подешавање.
- 18 системаСервер, CPU, меморија, OS ограничења, дискови, брзина диска, firebird.log, грешке у trace-у, трансакције и GC, закључавања, упити, конекције, индекси, резервне копије, fbagent задаци, репликација, fbagent агент, безбедност и лиценца. Ако постоје други налази, појављује се ред „Други налази“.
- Прагова на графиконуЗа CPU, меморију и брзину диска видите линије упозорења и озбиљности.
- Табеле у панелимаДискови: волумени и temp фасцикле. Трансакције: базе података са OIT/OAT разликом и дуге трансакције са корисником и процесом. Репликација: master и реплике са заостатком. Агент: његово здравље, редови датотека и главни задаци.
- Једна картица за групу налазаТри или више налаза исте врсте и истог нивоа приказују се као једна картица. Вредност стоји поред прага: „476.5 MiB / 1 GiB“.
- Грешке, упити, резервне копијеЧесте грешке у trace-у, најспорији упити са везом ка Perf Report, табела налаза резервних копија.
- Извори податакаЗа сваки извор: стање и старост података. Стање је на енглеском, на пример stale или missing. Застарео или недостајући извор је истакнут. Тихи агент не изгледа као „све је у реду“.
- Шта не изазива лажну узбунуРед за обраду агента није изнад нивоа упозорења. Заустављени Firebird не чини стање самог агента озбиљним: то је засебан налаз.
- Наслов на контролној таблиПоред иконе „Статус сервера“ налази се један ред: главни налаз и системи са налазима. Клик отвара овај извештај.