Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał angielski. English

Kondycja serwera w jednej minucie

Co minutę agent zbiera dane o serwerze, systemie operacyjnym, dyskach i bazach danych Firebird. Co 10 minut porównuje te dane z progami i zapisuje migawkę stanu. Otwierasz raport i od razu widzisz, co się zepsuło, kiedy i co zrobić.

  • 1 min metryki serwera i bazy danych
  • 10 min migawka stanu
  • 18 systemów w raporcie
  • 24 h · 7 · 14 dni historia
  • tylko odczyt monitorowanie niczego nie zmienia na serwerze

Scenariusz

Minuta administratora

Rano. Użytkownicy mówią, że w nocy wszystko działało wolno. Cztery ekrany HQ Monitor dają odpowiedź, zanim kawa ostygnie.

    server_status

    Jak zbierane są dane

    Agent działa na serwerze Firebird i odczytuje dane tam, gdzie się znajdują: liczniki systemu operacyjnego, cgroup i ETW, tabele monitorujące MON$, trace, firebird.log, nagłówki baz danych oraz wyniki własnych zadań. Bez osobnego serwera monitorującego i bez agentów wewnątrz baz danych.

    Raz na 10 minut agent umieszcza wszystko w migawce stanu. Każde sprawdzenie ma dwa progi: ostrzeżenie i poważny. Każde wykrycie ma klucz, tekst i podpowiedź. Nowy problem pojawia się po dwóch kolejnych migawkach, czyli po około 20 minutach. Sytuacja awaryjna, na przykład OOM lub uszkodzenie bazy danych, pojawia się natychmiast. Migawka trafia do HQ Monitor wraz z pozostałymi danymi.

    1. 1Zbieranieco minutę: CPU, pamięć, dyski, połączenia, transakcje
    2. 2Migawkaco 10 minut, średnie i szczyty z 10 minut
    3. 3Progiostrzeżenie i poważny; ustawiane w konfiguracji agenta
    4. 4Wykrycieco wykryto, gdzie, podpowiedź, przycisk akcji
    5. 5✓ Raportmatryca za 24 h, 7 lub 14 dni; e-mail z HQCenter

    Ciężkie zadania samego agenta (kopia zapasowa, sweep, sprawdzanie bazy danych, test dysku) są oznaczone na wykresach. Wolna minuta podczas kopii zapasowej nie jest liczona jako problem użytkownika.

    CPU · pamięć · programy

    Serwer i system operacyjny

    Wolna baza danych często nie jest winą Firebird. HQ Monitor pokazuje nie tylko obciążenie serwera, ale także kto je tworzy: Firebird, sam agent czy inne programy i usługi.

    Co widziszSzczegółyDomyślny próg
    Wersja i folder FirebirdCiąg wersji na liście serwerów; wersja i folder instalacji na pulpicie.—
    CPU i load averageCo minutę. CPU według programu za 10 minut: Firebird, agent, inne, procesy krótkotrwałe.80% · 97%
    PamięćUżyta, swap, ciśnienie pamięci (PSI na Linux). Pamięć według usługi (Linux) lub według programu (Windows), pamięć podręczna plików, jądro.80% · 96%
    OOM i swapTylko Linux: procesy zabite przez OOM killer oraz aktywny swap.każdy OOM — poważny
    Firebird w pamięci podręcznej systemu operacyjnegoTylko Linux, jądro 6.5+: ile każdego pliku bazy danych znajduje się w pamięci podręcznej systemu operacyjnego i czy plik jest otwarty z O_DIRECT.—
    Pamięć Firebird i MON$Pamięć procesu Firebird obok tego, co sam Firebird liczy w MON$MEMORY_USAGE.—
    System plikówRaz dziennie: typ systemu plików i rozmiar klastra dla folderów Firebird, baz danych i agenta.wykrycie ze ścieżką
    CPU według programu. Udział Firebird, agenta i innych programów za 10 minut i za cały okres.
    Kto używa pamięci. Usługi z limitami pamięci, swap, OOM i ciśnienie pamięci. Widać, że większość RAM to pamięć podręczna plików.

    TasksMax · NPROC · NOFILE · threads-max

    Limity systemu operacyjnego: awaria przed awarią

    „Firebird padł pod obciążeniem” często oznacza: skończył się limit systemu operacyjnego. Firebird nie może utworzyć wątku lub procesu, nowe połączenia zawodzą, a w firebird.log pojawia się pthread_create failed.

    Na Linux agent porównuje każdy serwer Firebird z limitami systemu operacyjnego co minutę. Ostrzeżenie od 80% limitu, poważny od 95%, według szczytu z 10 minut. Wykrycie pojawia się po dwóch kolejnych migawkach. Jeśli limit już odmówił utworzenia procesu, jest to poważne natychmiast, bez czekania.

    Agent tylko odczytuje: nie zmienia limitów, nie wymaga roota i nie wywołuje systemctl. Podpowiedź wykrycia podaje gotowe polecenie dla administratora.

    zadania: 0TasksMax: 4915użyte: 0%

    Przykładowy przypadek: TasksMax = 4915, 3 wątki na połączenie. Classic uruchamia proces dla każdego połączenia, więc najpierw osiąga TasksMax.

    LimitGdzie jest ustawianyCo się dzieje, gdy się wyczerpie
    Zadania usługi FirebirdTasksMax usługi lub nadrzędnego sliceClassic nie może przyjąć nowego połączenia
    Zadania użytkownika FirebirdLimitNPROC, limits.dUtworzenie wątku jest odrzucane
    Zadania całego hostakernel.threads-max, pid_maxOdrzucane dla wszystkich programów; threads-max jest obliczany z RAM przy starcie
    Otwarte plikiLimitNOFILESuperServer i SuperClassic najpierw osiągają ten limit
    Pamięćlimit pamięci usługi, RAMOOM killer zabija proces
    • Który poziom ograniczaUsługa lub nadrzędny slice, na przykład system.slice.
    • Własny udział agentaJego zadania oraz jego procesy potomne gbak i fbsvcmgr są liczone osobno.
    • Dla ClassicWątki na połączenie i ile jeszcze połączeń pozwala limit.
    • Bez wykrycia, do analizyZadania oczekujące na dysk oraz czas CPU zajęty przez hiperwizor (steal).

    Miejsce · temp · IO · opóźnienie

    Dyski

    Agent zna rolę każdego dysku: przechowuje bazy danych, pliki tymczasowe Firebird lub folder instalacji. Dla tych dysków liczy wolne miejsce, prognozę zapełnienia, opóźnienie odczytu i zapisu, IOPS oraz kto obciąża dysk.

    Wolne miejsce spada przez trzy dni z rzędu; prognoza pokazuje, za ile dni dysk będzie pełny
    Prognoza zapełnienia. Na podstawie wolnego miejsca z ostatnich 3 dni. Ostrzeżenie, jeśli dysk zapełni się w mniej niż 7 dni, poważny, jeśli w mniej niż 2.
    • Wolne miejsceOstrzeżenie poniżej 5 GB, poważne poniżej 1 GB. Dla każdego folderu widzisz, na którym dysku się znajduje.
    • Procent zapełnieniaOstrzeżenie: dysk jest zapełniony w 90 % i wolne jest mniej niż 20 GiB. Poważne: 97 % i mniej niż 5 GiB. Wymagane są oba warunki, więc duży dysk z zapasem miejsca nie daje fałszywego alarmu.
    • Dysk zapełnia się szybkoOstrzeżenie, jeśli przy obecnej szybkości dysk zapełni się w mniej niż 6 godzin; poważne, jeśli w mniej niż 2. Normalna nocna kopia zapasowa nie wywołuje alarmu. Znalezisko wskazuje, kto zapisywał na dysk w ciągu ostatnich 10 minut.
    • Pliki tymczasowe FirebirdIle ich jest i jak duże, według typu: sort, blob, undo, lock. Ostrzeżenie od 10 GB, poważne od 50 GB. Widzisz, czy pliki tymczasowe i bazy danych są na tym samym dysku.
    • Test wydajnościRaz w tygodniu w nocy: INSERT, UPDATE i DELETE miliona rekordów w tymczasowej bazie danych. Możesz porównać wyniki z różnych tygodni.
    • Opóźnienie i IOPSCo minutę dla dysków z bazami danych i plikami tymczasowymi. Odczyt: ostrzeżenie od 20 ms, poważne od 50 ms. Zapis: ostrzeżenie od 10 ms, poważne od 30 ms. Średnia z 10 minut, przy 10 IOPS lub więcej. Dysk tylko z plikami tymczasowymi — nie powyżej ostrzeżenia.
    • Dysk pełny: wpis w firebird.logBłąd „no space” w firebird.log natychmiast daje poziom poważny i utrzymuje się przez 24 godziny. Znalezisko wskazuje dysk z najmniejszą ilością wolnego miejsca.
    • Nazwa dysku w WindowsDysk jest nazywany literą i etykietą woluminu, na przykład b: (DATA, Disk 2, database), a nie identyfikatorem GUID woluminu.
    Opóźnienie odczytu/zapisu dysku bazy danych przez 1 h: progi zapisu 10 i 30 ms, pasmo zadania agenta
    odczyt, ms zapis, ms zadanie agenta było uruchomione linie przerywane: progi zapisu, ostrzeżenie 10 ms i poważne 30 ms (średnie z 10 minut); progi odczytu to 20 i 50 ms

    Jeśli Firebird wykonuje mniej niż 20% odczytów lub zapisów na dysku, dysk obciąża inny program. Wtedy podpowiedź znaleziska wskazuje głównego „sąsiada” na dysku i udział Firebird. Agent zapisuje tekst podpowiedzi po angielsku.

    Kto obciąża dysk

    W systemie Linux według usługi systemd, w systemie Windows według procesu. Wiersz Firebird jest wyróżniony. Jeśli Firebird mało czyta i zapisuje, ale dysk jest zajęty, przyczyną jest sąsiedni program: antywirus, obca kopia zapasowa, inna usługa. W systemie Windows zapisy przechodzą przez pamięć podręczną systemu, więc tam udział Firebird jest liczony tylko według odczytów.

    Kto używa dysku. Odczyty i zapisy każdej usługi oraz jej udział w pracy dysku.
    Dyski na pulpicie. Pliki tymczasowe, miejsce, opóźnienie z IOPS i szybkość; linie przerywane pokazują odczyty i zapisy samego Firebird.

    Header · LWM · MON$ · gstat

    Bazy danych

    Każda baza danych na serwerze ma własną stronę: rozmiar, stan, sweep, rozmiar strony, dialekt, właściciel, czy ma własną bazę zabezpieczeń. Cztery wykresy minutowe: połączenia i zapytania, transakcje, odczyty i zapisy stron, przygotowanie i wykonanie zapytań.

    Agent pobiera stan z MON$DATABASE lub z nagłówka pliku, w zależności od tego, który jest nowszy: shutdown, read-only, replica, blokada nbackup. Nagłówek można odczytać bez połączenia. Dzięki temu baza danych w stanie shutdown jest również widoczna, mimo że nie ma połączeń. Kliknięcie minuty na wykresie otwiera ciężkie zapytania z trace i wszystkie połączenia z tej minuty.

    Strona bazy danych. Wiersz z rozmiarem i sweep; poniżej wykresy minutowe dla LWM (Light-weight Monitoring), transakcji i operacji na stronach.

    Transakcje: sygnał przed spowolnieniem

    Next − OAT rośnie, gdy jedna transakcja pozostaje otwarta przez długi czas. Wersje rekordów się gromadzą, a baza danych zaczyna zwalniać. Ostrzeżenie przy różnicy 4 milionów, poważne przy 8 milionach. Długą transakcję łatwo znaleźć w tabeli połączeń. OST − OIT rośnie, gdy zbieranie śmieci nie nadąża, na przykład gdy potrzebny jest sweep.

    Liczniki OIT, OST, OAT i Next: różnica Next minus OAT rośnie, gdy jedna transakcja jest otwarta
    • Metryki MON$Raz na godzinę dla aktywnych baz danych: operacje na rekordach, pamięć według programu, najcięższe połączenia.
    • Wersje klientówRaz dziennie: które biblioteki klienta się łączą i ile połączeń ma każda z nich.
    • gstat z analiząLiczba krytycznych znalezisk i ostrzeżeń dla tabel i indeksów.
    • Prognoza wzrostu„+25% w N dni” dla najszybciej rosnącej tabeli lub indeksu; czerwony, jeśli 30 dni lub mniej.
    Metryki MON$. Migawka godzinowa: wstawienia, aktualizacje, usunięcia, śmieci, pamięć według programu i najcięższe połączenia.

    server_status

    Raport kondycji serwera

    Wiersze to systemy serwera, kolumny to czas. Dla 24 godzin komórka to jedna godzina, dla 7 dni to 4 godziny, dla 14 dni to 6 godzin. Komórka pokazuje najgorszy poziom w tym czasie. Czerwony to poważny, pomarańczowy to ostrzeżenie, zielony to OK. Kliknięcie komórki otwiera migawkę z tego momentu.

    poważny ostrzeżenie OK migawka w raporcie
    Co się zmieniło

    Nowe, gorsze, zniknęło

    Panel historii pokazuje, kiedy znalezisko się pojawiło, stało się poważniejsze i zniknęło. Jednorazowy błąd w logu jest widoczny od razu i utrzymuje się przez godzinę, z czasem wpisu w tekście.

    Podsumowanie okresu

    Jak długo trwał problem

    Czas w każdym poziomie i tabela problemów: początek, koniec, czas trwania, system. „Nadal aktywne” jest widoczne od razu.

    Znalezisko

    Przyczyna, podpowiedź, przycisk

    Tekst znaleziska wskazuje obiekt: dysk, folder, bazę danych, użytkownika, program, wersję klienta, zapytanie. Każda podpowiedź wskazuje działanie. Obok niej znajduje się przycisk: dodaj zadanie kopii zapasowej, ustaw foldery wyszukiwania kopii zapasowych, otwórz zadanie lub ustawienie.

    Znaleziska. Obszary z liczbą znalezisk, kluczowe wskaźniki, karty z podpowiedzią i przyciskami.
    Systemy. Panel dla każdego systemu: poziom, wartość, pasmo dla okresu i znaleziska migawki.
    • 18 systemówSerwer, CPU, Pamięć, Limity systemu operacyjnego, Dyski, Szybkość dysku, firebird.log, Błędy trace, Transakcje i GC, Blokady, Zapytania, Połączenia, Indeksy, Kopie zapasowe, Zadania fbagent, Replikacja, Agent fbagent, Zabezpieczenia i licencja. Jeśli występują inne znaleziska, pojawia się wiersz „Inne znaleziska”.
    • Progi na wykresieDla CPU, pamięci i szybkości dysku widzisz linie ostrzeżenia i poważne.
    • Tabele w panelachDyski: woluminy i foldery tymczasowe. Transakcje: bazy danych z różnicą OIT/OAT i długie transakcje z użytkownikiem i procesem. Replikacja: master i repliki z opóźnieniem. Agent: jego kondycja, kolejki plików i główne zadania.
    • Jedna karta dla grupy znaleziskTrzy lub więcej znalezisk tego samego rodzaju i tego samego poziomu są pokazywane jako jedna karta. Wartość znajduje się obok progu: „476,5 MiB / 1 GiB”.
    • Błędy, zapytania, kopie zapasoweCzęste błędy śledzenia, najwolniejsze zapytania z linkiem do Perf Report, tabela wyników kopii zapasowych.
    • Źródła danychDla każdego źródła: stan i wiek danych. Stan jest w języku angielskim, na przykład stale lub missing. Nieaktualne lub brakujące źródło jest wyróżnione. Milczący agent nie wygląda jak „wszystko w porządku”.
    • Co nie wywołuje fałszywego alarmuKolejka przetwarzania agenta nie jest powyżej poziomu ostrzeżenia. Zatrzymany Firebird nie powoduje, że stan samego agenta staje się poważny: to osobne znalezisko.
    • Nagłówek na pulpicieObok ikony „Server status” znajduje się jedna linia: główne znalezisko oraz systemy ze znaleziskami. Kliknięcie otwiera ten raport.

    ← Powrót do przeglądu HQbird 2027 · Kopie zapasowe w szczegółach →