Stav serveru HQbird
Stav serveru za jednu minutu
Agent každou minutu shromažďuje data o serveru, OS, discích a databázích Firebird. Každých 10 minut tato data porovnává s prahovými hodnotami a zapisuje snímek stavu. Otevřete zprávu a hned vidíte, co se pokazilo, kdy a co dělat.
- 1 min metriky serveru a databází
- 10 min snímek stavu
- 18 systémů ve zprávě
- 24 h · 7 · 14 dní historie
- read-only monitorování na serveru nic nemění
Scénář
Minuta administrátora
Ráno. Uživatelé říkají, že včera v noci bylo všechno pomalé. Čtyři obrazovky HQ Monitor dají odpověď dřív, než vám vychladne káva.
server_status
Jak se data shromažďují
Agent běží na serveru Firebird a čte data tam, kde jsou: čítače OS, cgroup a ETW, monitorovací tabulky MON$, trace, firebird.log, hlavičky databází a výsledky vlastních úloh. Žádný samostatný monitorovací server a žádní agenti uvnitř databází.
Jednou za 10 minut agent vše uloží do snímku stavu. Každá kontrola má dvě prahové hodnoty: varování a vážné. Každé zjištění má klíč, text a nápovědu. Nový problém se objeví po dvou snímcích v řadě, tedy po asi 20 minutách. Naléhavý stav, například OOM nebo poškození databáze, se objeví okamžitě. Snímek se odesílá do HQ Monitor spolu s ostatními daty.
- 1Sběrkaždou minutu: CPU, paměť, disky, připojení, transakce
- 2Snímekkaždých 10 minut, průměry a špičky za 10 minut
- 3Prahové hodnotyvarování a vážné; nastavují se v nastavení agenta
- 4Zjištěníco bylo nalezeno, kde, nápověda, tlačítko akce
- 5✓ Zprávamatice za 24 h, 7 nebo 14 dní; e-mail z HQCenter
Náročné úlohy samotného agenta (záloha, sweep, kontrola databáze, test disku) jsou na grafech označeny. Pomalá minuta během zálohy se nepočítá jako problém uživatele.
CPU · paměť · programy
Server a OS
Pomalá databáze často není vinou Firebird. HQ Monitor ukazuje nejen zatížení serveru, ale také kdo ho vytváří: Firebird, samotný agent nebo jiné programy a služby.
| Co vidíte | Podrobnosti | Výchozí prahová hodnota |
|---|---|---|
| Verze a složka Firebird | Řetězec verze v seznamu serverů; verze a instalační složka na dashboardu. | — |
| CPU a load average | Každou minutu. CPU podle programu za 10 minut: Firebird, agent, ostatní, krátkodobé procesy. | 80% · 97% |
| Paměť | Využitá, swap, tlak na paměť (PSI na Linuxu). Paměť podle služby (Linux) nebo podle programu (Windows), souborová cache, jádro. | 80% · 96% |
| OOM a swap | Pouze Linux: procesy zabité OOM killerem a aktivní swap. | jakýkoli OOM — vážné |
| Firebird v cache OS | Pouze Linux, jádro 6.5+: kolik z každého databázového souboru je v cache OS a zda je soubor otevřen s O_DIRECT. | — |
| Paměť Firebird a MON$ | Paměť procesu Firebird vedle toho, co Firebird sám počítá v MON$MEMORY_USAGE. | — |
| Souborový systém | Jednou denně: typ souborového systému a velikost clusteru pro složky Firebird, databází a agenta. | zjištění s cestou |
TasksMax · NPROC · NOFILE · threads-max
Limity OS: selhání před selháním
„Firebird spadl pod zátěží“ často znamená: došel limit OS. Firebird nemůže vytvořit vlákno nebo proces, nová připojení selhávají a ve firebird.log se objeví pthread_create failed.
Na Linuxu agent každou minutu porovnává každý server Firebird s limity OS. Varování od 80 % limitu, vážné od 95 %, podle špičky za 10 minut. Zjištění se objeví po dvou snímcích v řadě. Pokud už limit odmítl vytvořit proces, je to vážné okamžitě, bez čekání.
Agent pouze čte: nemění limity, nepotřebuje root a nevolá systemctl. Nápověda zjištění obsahuje připravený příkaz pro administrátora.
Vzorový případ: TasksMax = 4915, 3 vlákna na připojení. Classic spouští proces pro každé připojení, takže narazí na TasksMax jako první.
| Limit | Kde se nastavuje | Co se stane, když dojde |
|---|---|---|
| Úlohy služby Firebird | TasksMax služby nebo nadřazeného slice | Classic nemůže přijmout nové připojení |
| Úlohy uživatele Firebird | LimitNPROC, limits.d | Vytvoření vlákna je odmítnuto |
| Úlohy celého hostitele | kernel.threads-max, pid_max | Odmítnuto pro všechny programy; threads-max se počítá z RAM při startu |
| Otevřené soubory | LimitNOFILE | SuperServer a SuperClassic narazí na tento limit jako první |
| Paměť | limit paměti služby, RAM | OOM killer proces zabije |
- Která úroveň omezujeSlužba nebo nadřazený slice, například system.slice.
- Vlastní podíl agentaJeho úlohy a jeho podřízené procesy gbak a fbsvcmgr se počítají zvlášť.
- Pro ClassicVlákna na připojení a kolik dalších připojení limit ještě umožňuje.
- Bez zjištění, pro analýzuÚlohy čekající na disk a čas CPU spotřebovaný hypervizorem (steal).
Místo · temp · IO · latence
Disky
Agent zná roli každého disku: obsahuje databáze, dočasné soubory Firebird nebo instalační složku. Pro tyto disky počítá volné místo, předpověď zaplnění, latenci čtení a zápisu, IOPS a kdo disk zatěžuje.
- Volné místoUpozornění pod 5 GB, vážné pod 1 GB. U každé složky vidíte, na kterém disku se nachází.
- Procento zaplněníUpozornění: disk je zaplněn z 90 % a volných je méně než 20 GiB. Vážné: 97 % a méně než 5 GiB. Musí být splněny obě podmínky, takže velký disk s volným místem nespustí falešný poplach.
- Disk se rychle zaplňujeUpozornění, pokud se při aktuální rychlosti disk zaplní za méně než 6 hodin; vážné, pokud za méně než 2. Běžná noční záloha poplach nespustí. Nález uvádí, kdo na disk zapisoval v posledních 10 minutách.
- Dočasné soubory FirebirdKolik a jak velké, podle typu: sort, blob, undo, lock. Upozornění od 10 GB, vážné od 50 GB. Vidíte, zda jsou dočasné soubory a databáze na stejném disku.
- Test výkonuJednou týdně v noci: INSERT, UPDATE a DELETE milionu záznamů v dočasné databázi. Můžete porovnat výsledky různých týdnů.
- Latence a IOPSKaždou minutu pro disky s databázemi a dočasnými soubory. Čtení: upozornění od 20 ms, vážné od 50 ms. Zápis: upozornění od 10 ms, vážné od 30 ms. Průměr za 10 minut při 10 IOPS nebo více. Disk pouze s dočasnými soubory — ne nad úroveň upozornění.
- Disk plný: záznam v firebird.logChyba „no space“ v
firebird.logokamžitě znamená vážné a zůstává 24 hodin. Nález uvádí disk s nejmenším volným místem. - Název disku ve WindowsDisk je pojmenován podle písmene a popisku svazku, například
b: (DATA, Disk 2, database), nikoli podle GUID svazku.
Pokud Firebird provádí méně než 20 % čtení nebo zápisů na disk, disk zatěžuje jiný program. Pak nápověda nálezu uvádí hlavního „souseda“ na disku a podíl Firebird. Agent píše text nápovědy v angličtině.
Kdo zatěžuje disk
Na Linuxu podle služby systemd, ve Windows podle procesu. Řádek Firebird je zvýrazněn. Pokud Firebird čte a zapisuje málo, ale disk je vytížený, příčinou je sousední program: antivirus, cizí záloha, jiná služba. Ve Windows zápisy procházejí systémovou cache, takže se tam podíl Firebird počítá pouze podle čtení.
Header · LWM · MON$ · gstat
Databáze
Každá databáze na serveru má svou vlastní stránku: velikost, stav, sweep, velikost stránky, dialekt, vlastník, zda má vlastní bezpečnostní databázi. Čtyři grafy po minutách: připojení a dotazy, transakce, čtení a zápisy stránek, příprava a provádění dotazů.
Agent přebírá stav z MON$DATABASE nebo z hlavičky souboru, podle toho, co je novější: shutdown, read-only, replica, nbackup lock. Hlavičku lze přečíst bez připojení. Takže je vidět i databáze ve stavu shutdown, i když nemá žádná připojení. Kliknutím na minutu v grafu otevřete těžké dotazy z trace a všechna připojení z dané minuty.
Transakce: signál před zpomalením
Next − OAT roste, dokud zůstává jedna transakce dlouho otevřená. Verze záznamů se hromadí a databáze začíná zpomalovat. Upozornění při rozdílu 4 miliony, vážné při 8 milionech. Dlouhou transakci snadno najdete v tabulce připojení. OST − OIT roste, když sběr odpadu nestačí, například když je potřeba sweep.
- Metriky MON$Jednou za hodinu pro aktivní databáze: operace se záznamy, paměť podle programu, nejzatíženější připojení.
- Verze klientůJednou denně: které klientské knihovny se připojují a kolik připojení každá má.
- gstat s analýzouPočet kritických nálezů a upozornění pro tabulky a indexy.
- Prognóza růstu„+25 % za N dní“ pro nejrychleji rostoucí tabulku nebo index; červeně, pokud 30 dní nebo méně.
server_status
Zpráva o stavu serveru
Řádky jsou systémové oblasti serveru, sloupce jsou čas. Pro 24 hodin je buňka jedna hodina, pro 7 dní jsou to 4 hodiny, pro 14 dní 6 hodin. Buňka zobrazuje nejhorší úroveň pro daný čas. Červená je vážné, oranžová upozornění, zelená OK. Kliknutím na buňku otevřete snímek pro daný okamžik.
Nové, horší, pryč
Panel historie ukazuje, kdy se nález objevil, kdy se zhoršil a kdy zmizel. Jednorázová chyba v logu je vidět okamžitě a zůstává jednu hodinu, s časem záznamu v textu.
Jak dlouho problém trval
Čas v každé úrovni a tabulka problémů: začátek, konec, trvání, systém. „Stále aktivní“ je vidět okamžitě.
Příčina, nápověda, tlačítko
Text nálezu uvádí objekt: disk, složku, databázi, uživatele, program, verzi klienta, dotaz. Každá nápověda uvádí akci. Vedle ní je tlačítko: přidat úlohu zálohy, nastavit složky pro hledání záloh, otevřít úlohu nebo nastavení.
- 18 systémůServer, CPU, Paměť, Limity OS, Disky, Rychlost disku, firebird.log, Chyby trace, Transakce a GC, Zámky, Dotazy, Připojení, Indexy, Zálohy, Úlohy fbagent, Replikace, Agent fbagent, Zabezpečení a licence. Pokud existují další nálezy, zobrazí se řádek „Další nálezy“.
- Prahové hodnoty v grafuPro CPU, paměť a rychlost disku vidíte čáry upozornění a vážného stavu.
- Tabulky v panelechDisky: svazky a dočasné složky. Transakce: databáze s rozdílem OIT/OAT a dlouhé transakce s uživatelem a procesem. Replikace: master a repliky se zpožděním. Agent: jeho stav, fronty souborů a hlavní úlohy.
- Jedna karta pro skupinu nálezůTři nebo více nálezů stejného druhu a stejné úrovně se zobrazí jako jedna karta. Hodnota stojí vedle prahové hodnoty: „476,5 MiB / 1 GiB“.
- Chyby, dotazy, zálohyČasté chyby v trasování, nejpomalejší dotazy s odkazem na Perf Report, tabulka zjištění ze záloh.
- Zdroje datPro každý zdroj: stav a stáří dat. Stav je v angličtině, například stale nebo missing. Zastaralý nebo chybějící zdroj je zvýrazněn. Tichý agent nevypadá jako „vše je v pořádku“.
- Co nevyvolává falešný poplachFronta zpracování agenta není nad úrovní varování. Zastavený Firebird nečiní stav samotného agenta vážným: jde o samostatné zjištění.
- Hlavní sdělení na dashboarduVedle ikony „Server status“ je jeden řádek: hlavní zjištění a systémy se zjištěními. Kliknutím se otevře tento report.