此页面为机器翻译。请阅读英文原文。 English

一分钟掌握服务器健康状态

代理每分钟收集一次服务器、操作系统、磁盘和 Firebird 数据库的数据。每 10 分钟,它会将这些数据与阈值进行比较,并写入一份状态快照。打开报告,你就能立刻看到哪里出了问题、何时发生以及该怎么做。

  • 1 分钟 服务器和数据库指标
  • 10 分钟 状态快照
  • 18 报告中的系统
  • 24 小时 · 7 · 14 天 历史记录
  • 只读 监控不会更改服务器上的任何内容

场景

管理员的一分钟

早晨。用户说昨晚一切都很慢。在你的咖啡变凉之前,四个 HQ Monitor 屏幕就能给出答案。

    server_status

    数据如何收集

    代理运行在 Firebird 服务器上,就地读取数据:操作系统计数器、cgroup 和 ETW、MON$ 监控表、trace、firebird.log、数据库头,以及其自身作业的结果。无需单独的监控服务器,也无需在数据库内部署代理。

    每 10 分钟,代理将所有内容写入一份状态快照。每项检查有两个阈值:警告和严重。每个发现都有键、文本和提示。新问题在连续两次快照后出现,即大约 20 分钟后。紧急情况,例如 OOM 或数据库损坏,会立即出现。快照与其他数据一起发送到 HQ Monitor。

    1. 1收集每分钟:CPU、内存、磁盘、连接、事务
    2. 2快照每 10 分钟,10 分钟的平均值和峰值
    3. 3阈值警告和严重;在代理设置中配置
    4. 4发现发现了什么、在哪里、提示、操作按钮
    5. 5✓ 报告24 小时、7 或 14 天的矩阵;来自 HQCenter 的电子邮件

    代理自身的高负载作业(备份、sweep、数据库检查、磁盘测试)会在图表上标记。备份期间的一分钟缓慢不会被计为用户问题。

    CPU · 内存 · 程序

    服务器与操作系统

    数据库缓慢往往不是 Firebird 的错。HQ Monitor 不仅显示服务器负载,还显示是谁造成的:Firebird、代理自身,还是其他程序和服务。

    你看到的内容详情默认阈值
    Firebird 版本和文件夹服务器列表中的版本字符串;仪表板上的版本和安装文件夹。—
    CPU 和负载平均值每分钟。10 分钟内按程序划分的 CPU:Firebird、代理、其他、短生命周期进程。80% · 97%
    内存已用、交换、内存压力(Linux 上的 PSI)。按服务(Linux)或按程序(Windows)划分的内存、文件缓存、内核。80% · 96%
    OOM 和交换仅 Linux:被 OOM killer 终止的进程,以及活跃的交换。任何 OOM — 严重
    操作系统缓存中的 Firebird仅 Linux,内核 6.5+:每个数据库文件有多少在操作系统缓存中,以及文件是否以 O_DIRECT 打开。—
    Firebird 内存和 MON$Firebird 进程的内存与 Firebird 自身在 MON$MEMORY_USAGE 中统计的数值对比。—
    文件系统每天一次:Firebird、数据库和代理文件夹的文件系统类型和簇大小。带路径的发现
    按程序划分的 CPU。 Firebird、代理和其他程序在 10 分钟内以及整个周期内的占比。
    谁在使用内存。 带内存限制的服务、交换、OOM 和内存压力。你可以看到大部分 RAM 是文件缓存。

    TasksMax · NPROC · NOFILE · threads-max

    操作系统限制:故障之前的故障

    “Firebird 在负载下崩溃”通常意味着:操作系统限制耗尽了。Firebird 无法创建线程或进程,新连接失败,firebird.log 中出现 pthread_create failed。

    在 Linux 上,代理每分钟将每个 Firebird 服务器与操作系统限制进行比较。达到限制的 80% 时警告,95% 时严重,按 10 分钟内的峰值计算。发现会在连续两次快照后出现。如果某个限制已经拒绝创建进程,则立即视为严重,无需等待。

    该代理只读取:它不更改限制,不需要 root,也不调用 systemctl。发现的提示会为管理员提供一条现成的命令。

    任务数:0TasksMax:4915已用:0%

    示例:TasksMax = 4915,每个连接 3 个线程。Classic 为每个连接启动一个进程,因此会先触及 TasksMax。

    限制设置位置耗尽时会发生什么
    Firebird 服务的任务数服务或其父 slice 的 TasksMaxClassic 无法接受新连接
    Firebird 用户的任务数LimitNPROC、limits.d线程创建被拒绝
    整个主机的任务数kernel.threads-max、pid_max所有程序都被拒绝;threads-max 在启动时根据 RAM 计算
    打开的文件数LimitNOFILESuperServer 和 SuperClassic 会先触及此限制
    内存服务内存限制、RAMOOM killer 会终止进程
    • 哪一级限制服务或父 slice,例如 system.slice。
    • 代理自身的份额它的任务及其子进程 gbak 和 fbsvcmgr 会单独计算。
    • 对于 Classic每个连接的线程数,以及该限制还允许多少连接。
    • 无发现,仅供分析等待磁盘的任务,以及虚拟机监控程序占用的 CPU 时间(steal)。

    空间 · 临时文件 · IO · 延迟

    磁盘

    该代理知道每个磁盘的角色:它存放数据库、Firebird 临时文件或安装文件夹。对于这些磁盘,它会统计可用空间、填充预测、读写延迟、IOPS,以及谁在加载磁盘。

    可用空间连续三天下降;预测显示磁盘将在多少天后写满
    填充预测。 基于过去 3 天的可用空间。如果磁盘将在不到 7 天内写满则警告,不到 2 天内写满则严重。
    • 可用空间低于 5 GB 警告,低于 1 GB 严重。对于每个文件夹,你可以看到它位于哪个磁盘上。
    • 填充百分比警告:磁盘已用 90% 且可用空间少于 20 GiB。严重:已用 97% 且可用空间少于 5 GiB。需要同时满足两个条件,因此有剩余空间的大磁盘不会误报。
    • 磁盘快速写满如果按当前速度磁盘将在不到 6 小时内写满则警告;不到 2 小时内写满则严重。正常的夜间备份不会触发警报。发现会指出过去 10 分钟内谁写入了该磁盘。
    • Firebird 临时文件按类型统计数量和大小:排序、blob、undo、锁。从 10 GB 起警告,从 50 GB 起严重。你可以看到临时文件和数据库是否在同一磁盘上。
    • 性能测试每周夜间一次:在临时数据库中 INSERT、UPDATE 和 DELETE 一百万条记录。你可以比较不同周的结果。
    • 延迟和 IOPS每分钟针对有数据库和临时文件的磁盘。读取:从 20 ms 起警告,从 50 ms 起严重。写入:从 10 ms 起警告,从 30 ms 起严重。10 分钟平均值,IOPS 为 10 或以上。仅有临时文件的磁盘——不高于警告。
    • 磁盘已满:firebird.log 中的条目firebird.log 中的“no space”错误会立即给出严重并持续 24 小时。发现会指出可用空间最少的磁盘。
    • Windows 中的磁盘名称磁盘以其盘符和卷标命名,例如 b: (DATA, Disk 2, database),而不是卷 GUID。
    数据库磁盘 1 小时内的读/写延迟:写入阈值 10 和 30 ms,代理作业区间
    读取,ms 写入,ms 代理作业正在运行 虚线:写入阈值,警告 10 ms 和严重 30 ms(10 分钟平均值);读取阈值为 20 和 50 ms

    如果 Firebird 占磁盘读写的比例低于 20%,则另一个程序在加载磁盘。此时发现的提示会指出磁盘上的主要“邻居”以及 Firebird 的份额。代理以英文写入提示文本。

    谁在加载磁盘

    在 Linux 上按 systemd 服务,在 Windows 上按进程。Firebird 行会高亮显示。如果 Firebird 读写很少但磁盘繁忙,原因是邻居程序:杀毒软件、外部备份、另一个服务。在 Windows 上,写入经过系统缓存,因此那里 Firebird 的份额仅按读取计算。

    谁在使用磁盘。 每个服务的读写量及其在磁盘工作中的份额。
    仪表板上的磁盘。 临时文件、空间、带 IOPS 的延迟以及速度;虚线显示 Firebird 自身的读写。

    Header · LWM · MON$ · gstat

    数据库

    服务器上的每个数据库都有自己的页面:大小、状态、sweep、页面大小、方言、所有者、是否拥有自己的安全数据库。按分钟显示四张图表:连接与查询、事务、页面读写、查询准备与执行。

    代理从 MON$DATABASE 或文件头中获取状态,以较新者为准:关闭、只读、副本、nbackup 锁。文件头无需连接即可读取。因此,处于关闭状态的数据库也能看到,即使它没有任何连接。点击图表中的某一分钟,可打开该分钟的 trace 中的重查询以及所有连接。

    数据库页面。 一行显示大小和 sweep;下方是按分钟显示的 LWM(轻量级监控)、事务和页面操作图表。

    事务:变慢之前的信号

    Next − OAT 在一个事务长时间保持打开时会增长。记录版本不断堆积,数据库开始变慢。差距达到 400 万时发出警告,达到 800 万时视为严重。在连接表中很容易找到这个长事务。OST − OIT 在垃圾回收跟不上时增长,例如需要执行 sweep 时。

    OIT, OST, OAT and Next counters: the Next minus OAT gap grows while one transaction is open
    • MON$ 指标对活跃数据库每小时一次:记录操作、按程序划分的内存、最重的连接。
    • 客户端版本每天一次:哪些客户端库在连接,每个库有多少连接。
    • 带分析的 gstat表和索引的严重发现与警告数量。
    • 增长预测增长最快的表或索引显示“+25%,N 天内”;若在 30 天或以内则显示为红色。
    MON$ 指标。 按小时的快照:插入、更新、删除、垃圾、按程序划分的内存以及最重的连接。

    server_status

    服务器健康报告

    行是服务器系统,列是时间。24 小时范围内一个单元格代表一小时,7 天范围内代表 4 小时,14 天范围内代表 6 小时。单元格显示该时间段内最严重的级别。红色为严重,橙色为警告,绿色为正常。点击单元格可打开该时刻的快照。

    严重 警告 正常 报告中的快照
    变化内容

    新增、恶化、消失

    历史面板显示某个发现何时出现、何时变得更严重以及何时消失。日志中的一次性错误会立即显示并保留一小时,文本中带有该条目的时间。

    周期总计

    问题持续了多久

    各级别的时长以及问题表格:开始、结束、持续时间、系统。“仍处于活动状态”会立即显示。

    发现

    原因、提示、按钮

    发现文本会指明对象:磁盘、文件夹、数据库、用户、程序、客户端版本、查询。每条提示都指明一个操作。旁边有一个按钮:添加备份任务、设置备份搜索文件夹、打开任务或设置。

    发现。 带有发现数量的区域、关键指标、带提示和按钮的卡片。
    系统。 每个系统一个面板:级别、值、该周期的条带以及快照的发现。
    • 18 个系统服务器、CPU、内存、操作系统限制、磁盘、磁盘速度、firebird.log、Trace 错误、事务与 GC、锁、查询、连接、索引、备份、fbagent 作业、复制、fbagent 代理、安全与许可。如果还有其他发现,会出现一行“其他发现”。
    • 图表上的阈值对于 CPU、内存和磁盘速度,可以看到警告线和严重线。
    • 面板中的表格磁盘:卷和临时文件夹。事务:存在 OIT/OAT 差距的数据库以及带用户和进程的长事务。复制:带延迟的主库和副本。代理:其健康状况、文件队列和主要作业。
    • 一组发现共用一张卡片三个或更多同类且同级别的发现显示为一张卡片。值显示在阈值旁边:“476.5 MiB / 1 GiB”。
    • 错误、查询、备份频繁的 trace 错误、最慢的查询(带 Perf Report 链接)、备份发现表格。
    • 数据源每个数据源:状态和数据年龄。状态为英文,例如 stale 或 missing。过期或缺失的数据源会高亮显示。静默的代理不会看起来像“一切正常”。
    • 不会触发误报的情况代理的处理队列未超过警告阈值。Firebird 停止运行不会使代理自身的状态变得严重:这是一个单独的发现项。
    • 仪表板上的标题在“服务器状态”图标旁边有一行文字:主要发现项以及存在发现项的系统。点击即可打开此报告。

    ← 返回 HQbird 2027 概览 · 备份详情 →