Kondycja serwera HQbird
Kondycja serwera w jednej minucie
Co minutę agent zbiera dane o serwerze, systemie operacyjnym, dyskach i bazach danych Firebird. Co 10 minut porównuje te dane z progami i zapisuje migawkę stanu. Otwierasz raport i od razu widzisz, co się zepsuło, kiedy i co zrobić.
- 1 min metryki serwera i bazy danych
- 10 min migawka stanu
- 18 systemów w raporcie
- 24 h · 7 · 14 dni historia
- tylko odczyt monitorowanie niczego nie zmienia na serwerze
Scenariusz
Minuta administratora
Rano. Użytkownicy mówią, że w nocy wszystko działało wolno. Cztery ekrany HQ Monitor dają odpowiedź, zanim kawa ostygnie.
server_status
Jak zbierane są dane
Agent działa na serwerze Firebird i odczytuje dane tam, gdzie się znajdują: liczniki systemu operacyjnego, cgroup i ETW, tabele monitorujące MON$, trace, firebird.log, nagłówki baz danych oraz wyniki własnych zadań. Bez osobnego serwera monitorującego i bez agentów wewnątrz baz danych.
Raz na 10 minut agent umieszcza wszystko w migawce stanu. Każde sprawdzenie ma dwa progi: ostrzeżenie i poważny. Każde wykrycie ma klucz, tekst i podpowiedź. Nowy problem pojawia się po dwóch kolejnych migawkach, czyli po około 20 minutach. Sytuacja awaryjna, na przykład OOM lub uszkodzenie bazy danych, pojawia się natychmiast. Migawka trafia do HQ Monitor wraz z pozostałymi danymi.
- 1Zbieranieco minutę: CPU, pamięć, dyski, połączenia, transakcje
- 2Migawkaco 10 minut, średnie i szczyty z 10 minut
- 3Progiostrzeżenie i poważny; ustawiane w konfiguracji agenta
- 4Wykrycieco wykryto, gdzie, podpowiedź, przycisk akcji
- 5✓ Raportmatryca za 24 h, 7 lub 14 dni; e-mail z HQCenter
Ciężkie zadania samego agenta (kopia zapasowa, sweep, sprawdzanie bazy danych, test dysku) są oznaczone na wykresach. Wolna minuta podczas kopii zapasowej nie jest liczona jako problem użytkownika.
CPU · pamięć · programy
Serwer i system operacyjny
Wolna baza danych często nie jest winą Firebird. HQ Monitor pokazuje nie tylko obciążenie serwera, ale także kto je tworzy: Firebird, sam agent czy inne programy i usługi.
| Co widzisz | Szczegóły | Domyślny próg |
|---|---|---|
| Wersja i folder Firebird | Ciąg wersji na liście serwerów; wersja i folder instalacji na pulpicie. | — |
| CPU i load average | Co minutę. CPU według programu za 10 minut: Firebird, agent, inne, procesy krótkotrwałe. | 80% · 97% |
| Pamięć | Użyta, swap, ciśnienie pamięci (PSI na Linux). Pamięć według usługi (Linux) lub według programu (Windows), pamięć podręczna plików, jądro. | 80% · 96% |
| OOM i swap | Tylko Linux: procesy zabite przez OOM killer oraz aktywny swap. | każdy OOM — poważny |
| Firebird w pamięci podręcznej systemu operacyjnego | Tylko Linux, jądro 6.5+: ile każdego pliku bazy danych znajduje się w pamięci podręcznej systemu operacyjnego i czy plik jest otwarty z O_DIRECT. | — |
| Pamięć Firebird i MON$ | Pamięć procesu Firebird obok tego, co sam Firebird liczy w MON$MEMORY_USAGE. | — |
| System plików | Raz dziennie: typ systemu plików i rozmiar klastra dla folderów Firebird, baz danych i agenta. | wykrycie ze ścieżką |
TasksMax · NPROC · NOFILE · threads-max
Limity systemu operacyjnego: awaria przed awarią
„Firebird padł pod obciążeniem” często oznacza: skończył się limit systemu operacyjnego. Firebird nie może utworzyć wątku lub procesu, nowe połączenia zawodzą, a w firebird.log pojawia się pthread_create failed.
Na Linux agent porównuje każdy serwer Firebird z limitami systemu operacyjnego co minutę. Ostrzeżenie od 80% limitu, poważny od 95%, według szczytu z 10 minut. Wykrycie pojawia się po dwóch kolejnych migawkach. Jeśli limit już odmówił utworzenia procesu, jest to poważne natychmiast, bez czekania.
Agent tylko odczytuje: nie zmienia limitów, nie wymaga roota i nie wywołuje systemctl. Podpowiedź wykrycia podaje gotowe polecenie dla administratora.
Przykładowy przypadek: TasksMax = 4915, 3 wątki na połączenie. Classic uruchamia proces dla każdego połączenia, więc najpierw osiąga TasksMax.
| Limit | Gdzie jest ustawiany | Co się dzieje, gdy się wyczerpie |
|---|---|---|
| Zadania usługi Firebird | TasksMax usługi lub nadrzędnego slice | Classic nie może przyjąć nowego połączenia |
| Zadania użytkownika Firebird | LimitNPROC, limits.d | Utworzenie wątku jest odrzucane |
| Zadania całego hosta | kernel.threads-max, pid_max | Odrzucane dla wszystkich programów; threads-max jest obliczany z RAM przy starcie |
| Otwarte pliki | LimitNOFILE | SuperServer i SuperClassic najpierw osiągają ten limit |
| Pamięć | limit pamięci usługi, RAM | OOM killer zabija proces |
- Który poziom ograniczaUsługa lub nadrzędny slice, na przykład system.slice.
- Własny udział agentaJego zadania oraz jego procesy potomne gbak i fbsvcmgr są liczone osobno.
- Dla ClassicWątki na połączenie i ile jeszcze połączeń pozwala limit.
- Bez wykrycia, do analizyZadania oczekujące na dysk oraz czas CPU zajęty przez hiperwizor (steal).
Miejsce · temp · IO · opóźnienie
Dyski
Agent zna rolę każdego dysku: przechowuje bazy danych, pliki tymczasowe Firebird lub folder instalacji. Dla tych dysków liczy wolne miejsce, prognozę zapełnienia, opóźnienie odczytu i zapisu, IOPS oraz kto obciąża dysk.
- Wolne miejsceOstrzeżenie poniżej 5 GB, poważne poniżej 1 GB. Dla każdego folderu widzisz, na którym dysku się znajduje.
- Procent zapełnieniaOstrzeżenie: dysk jest zapełniony w 90 % i wolne jest mniej niż 20 GiB. Poważne: 97 % i mniej niż 5 GiB. Wymagane są oba warunki, więc duży dysk z zapasem miejsca nie daje fałszywego alarmu.
- Dysk zapełnia się szybkoOstrzeżenie, jeśli przy obecnej szybkości dysk zapełni się w mniej niż 6 godzin; poważne, jeśli w mniej niż 2. Normalna nocna kopia zapasowa nie wywołuje alarmu. Znalezisko wskazuje, kto zapisywał na dysk w ciągu ostatnich 10 minut.
- Pliki tymczasowe FirebirdIle ich jest i jak duże, według typu: sort, blob, undo, lock. Ostrzeżenie od 10 GB, poważne od 50 GB. Widzisz, czy pliki tymczasowe i bazy danych są na tym samym dysku.
- Test wydajnościRaz w tygodniu w nocy: INSERT, UPDATE i DELETE miliona rekordów w tymczasowej bazie danych. Możesz porównać wyniki z różnych tygodni.
- Opóźnienie i IOPSCo minutę dla dysków z bazami danych i plikami tymczasowymi. Odczyt: ostrzeżenie od 20 ms, poważne od 50 ms. Zapis: ostrzeżenie od 10 ms, poważne od 30 ms. Średnia z 10 minut, przy 10 IOPS lub więcej. Dysk tylko z plikami tymczasowymi — nie powyżej ostrzeżenia.
- Dysk pełny: wpis w firebird.logBłąd „no space” w
firebird.lognatychmiast daje poziom poważny i utrzymuje się przez 24 godziny. Znalezisko wskazuje dysk z najmniejszą ilością wolnego miejsca. - Nazwa dysku w WindowsDysk jest nazywany literą i etykietą woluminu, na przykład
b: (DATA, Disk 2, database), a nie identyfikatorem GUID woluminu.
Jeśli Firebird wykonuje mniej niż 20% odczytów lub zapisów na dysku, dysk obciąża inny program. Wtedy podpowiedź znaleziska wskazuje głównego „sąsiada” na dysku i udział Firebird. Agent zapisuje tekst podpowiedzi po angielsku.
Kto obciąża dysk
W systemie Linux według usługi systemd, w systemie Windows według procesu. Wiersz Firebird jest wyróżniony. Jeśli Firebird mało czyta i zapisuje, ale dysk jest zajęty, przyczyną jest sąsiedni program: antywirus, obca kopia zapasowa, inna usługa. W systemie Windows zapisy przechodzą przez pamięć podręczną systemu, więc tam udział Firebird jest liczony tylko według odczytów.
Header · LWM · MON$ · gstat
Bazy danych
Każda baza danych na serwerze ma własną stronę: rozmiar, stan, sweep, rozmiar strony, dialekt, właściciel, czy ma własną bazę zabezpieczeń. Cztery wykresy minutowe: połączenia i zapytania, transakcje, odczyty i zapisy stron, przygotowanie i wykonanie zapytań.
Agent pobiera stan z MON$DATABASE lub z nagłówka pliku, w zależności od tego, który jest nowszy: shutdown, read-only, replica, blokada nbackup. Nagłówek można odczytać bez połączenia. Dzięki temu baza danych w stanie shutdown jest również widoczna, mimo że nie ma połączeń. Kliknięcie minuty na wykresie otwiera ciężkie zapytania z trace i wszystkie połączenia z tej minuty.
Transakcje: sygnał przed spowolnieniem
Next − OAT rośnie, gdy jedna transakcja pozostaje otwarta przez długi czas. Wersje rekordów się gromadzą, a baza danych zaczyna zwalniać. Ostrzeżenie przy różnicy 4 milionów, poważne przy 8 milionach. Długą transakcję łatwo znaleźć w tabeli połączeń. OST − OIT rośnie, gdy zbieranie śmieci nie nadąża, na przykład gdy potrzebny jest sweep.
- Metryki MON$Raz na godzinę dla aktywnych baz danych: operacje na rekordach, pamięć według programu, najcięższe połączenia.
- Wersje klientówRaz dziennie: które biblioteki klienta się łączą i ile połączeń ma każda z nich.
- gstat z analiząLiczba krytycznych znalezisk i ostrzeżeń dla tabel i indeksów.
- Prognoza wzrostu„+25% w N dni” dla najszybciej rosnącej tabeli lub indeksu; czerwony, jeśli 30 dni lub mniej.
server_status
Raport kondycji serwera
Wiersze to systemy serwera, kolumny to czas. Dla 24 godzin komórka to jedna godzina, dla 7 dni to 4 godziny, dla 14 dni to 6 godzin. Komórka pokazuje najgorszy poziom w tym czasie. Czerwony to poważny, pomarańczowy to ostrzeżenie, zielony to OK. Kliknięcie komórki otwiera migawkę z tego momentu.
Nowe, gorsze, zniknęło
Panel historii pokazuje, kiedy znalezisko się pojawiło, stało się poważniejsze i zniknęło. Jednorazowy błąd w logu jest widoczny od razu i utrzymuje się przez godzinę, z czasem wpisu w tekście.
Jak długo trwał problem
Czas w każdym poziomie i tabela problemów: początek, koniec, czas trwania, system. „Nadal aktywne” jest widoczne od razu.
Przyczyna, podpowiedź, przycisk
Tekst znaleziska wskazuje obiekt: dysk, folder, bazę danych, użytkownika, program, wersję klienta, zapytanie. Każda podpowiedź wskazuje działanie. Obok niej znajduje się przycisk: dodaj zadanie kopii zapasowej, ustaw foldery wyszukiwania kopii zapasowych, otwórz zadanie lub ustawienie.
- 18 systemówSerwer, CPU, Pamięć, Limity systemu operacyjnego, Dyski, Szybkość dysku, firebird.log, Błędy trace, Transakcje i GC, Blokady, Zapytania, Połączenia, Indeksy, Kopie zapasowe, Zadania fbagent, Replikacja, Agent fbagent, Zabezpieczenia i licencja. Jeśli występują inne znaleziska, pojawia się wiersz „Inne znaleziska”.
- Progi na wykresieDla CPU, pamięci i szybkości dysku widzisz linie ostrzeżenia i poważne.
- Tabele w panelachDyski: woluminy i foldery tymczasowe. Transakcje: bazy danych z różnicą OIT/OAT i długie transakcje z użytkownikiem i procesem. Replikacja: master i repliki z opóźnieniem. Agent: jego kondycja, kolejki plików i główne zadania.
- Jedna karta dla grupy znaleziskTrzy lub więcej znalezisk tego samego rodzaju i tego samego poziomu są pokazywane jako jedna karta. Wartość znajduje się obok progu: „476,5 MiB / 1 GiB”.
- Błędy, zapytania, kopie zapasoweCzęste błędy śledzenia, najwolniejsze zapytania z linkiem do Perf Report, tabela wyników kopii zapasowych.
- Źródła danychDla każdego źródła: stan i wiek danych. Stan jest w języku angielskim, na przykład stale lub missing. Nieaktualne lub brakujące źródło jest wyróżnione. Milczący agent nie wygląda jak „wszystko w porządku”.
- Co nie wywołuje fałszywego alarmuKolejka przetwarzania agenta nie jest powyżej poziomu ostrzeżenia. Zatrzymany Firebird nie powoduje, że stan samego agenta staje się poważny: to osobne znalezisko.
- Nagłówek na pulpicieObok ikony „Server status” znajduje się jedna linia: główne znalezisko oraz systemy ze znaleziskami. Kliknięcie otwiera ten raport.
← Powrót do przeglądu HQbird 2027 · Kopie zapasowe w szczegółach →