HQbird 服务器健康状态
一分钟掌握服务器健康状态
代理每分钟收集一次服务器、操作系统、磁盘和 Firebird 数据库的数据。每 10 分钟,它会将这些数据与阈值进行比较,并写入一份状态快照。打开报告,你就能立刻看到哪里出了问题、何时发生以及该怎么做。
- 1 分钟 服务器和数据库指标
- 10 分钟 状态快照
- 18 报告中的系统
- 24 小时 · 7 · 14 天 历史记录
- 只读 监控不会更改服务器上的任何内容
场景
管理员的一分钟
早晨。用户说昨晚一切都很慢。在你的咖啡变凉之前,四个 HQ Monitor 屏幕就能给出答案。
server_status
数据如何收集
代理运行在 Firebird 服务器上,就地读取数据:操作系统计数器、cgroup 和 ETW、MON$ 监控表、trace、firebird.log、数据库头,以及其自身作业的结果。无需单独的监控服务器,也无需在数据库内部署代理。
每 10 分钟,代理将所有内容写入一份状态快照。每项检查有两个阈值:警告和严重。每个发现都有键、文本和提示。新问题在连续两次快照后出现,即大约 20 分钟后。紧急情况,例如 OOM 或数据库损坏,会立即出现。快照与其他数据一起发送到 HQ Monitor。
- 1收集每分钟:CPU、内存、磁盘、连接、事务
- 2快照每 10 分钟,10 分钟的平均值和峰值
- 3阈值警告和严重;在代理设置中配置
- 4发现发现了什么、在哪里、提示、操作按钮
- 5✓ 报告24 小时、7 或 14 天的矩阵;来自 HQCenter 的电子邮件
代理自身的高负载作业(备份、sweep、数据库检查、磁盘测试)会在图表上标记。备份期间的一分钟缓慢不会被计为用户问题。
CPU · 内存 · 程序
服务器与操作系统
数据库缓慢往往不是 Firebird 的错。HQ Monitor 不仅显示服务器负载,还显示是谁造成的:Firebird、代理自身,还是其他程序和服务。
| 你看到的内容 | 详情 | 默认阈值 |
|---|---|---|
| Firebird 版本和文件夹 | 服务器列表中的版本字符串;仪表板上的版本和安装文件夹。 | — |
| CPU 和负载平均值 | 每分钟。10 分钟内按程序划分的 CPU:Firebird、代理、其他、短生命周期进程。 | 80% · 97% |
| 内存 | 已用、交换、内存压力(Linux 上的 PSI)。按服务(Linux)或按程序(Windows)划分的内存、文件缓存、内核。 | 80% · 96% |
| OOM 和交换 | 仅 Linux:被 OOM killer 终止的进程,以及活跃的交换。 | 任何 OOM — 严重 |
| 操作系统缓存中的 Firebird | 仅 Linux,内核 6.5+:每个数据库文件有多少在操作系统缓存中,以及文件是否以 O_DIRECT 打开。 | — |
| Firebird 内存和 MON$ | Firebird 进程的内存与 Firebird 自身在 MON$MEMORY_USAGE 中统计的数值对比。 | — |
| 文件系统 | 每天一次:Firebird、数据库和代理文件夹的文件系统类型和簇大小。 | 带路径的发现 |
TasksMax · NPROC · NOFILE · threads-max
操作系统限制:故障之前的故障
“Firebird 在负载下崩溃”通常意味着:操作系统限制耗尽了。Firebird 无法创建线程或进程,新连接失败,firebird.log 中出现 pthread_create failed。
在 Linux 上,代理每分钟将每个 Firebird 服务器与操作系统限制进行比较。达到限制的 80% 时警告,95% 时严重,按 10 分钟内的峰值计算。发现会在连续两次快照后出现。如果某个限制已经拒绝创建进程,则立即视为严重,无需等待。
该代理只读取:它不更改限制,不需要 root,也不调用 systemctl。发现的提示会为管理员提供一条现成的命令。
示例:TasksMax = 4915,每个连接 3 个线程。Classic 为每个连接启动一个进程,因此会先触及 TasksMax。
| 限制 | 设置位置 | 耗尽时会发生什么 |
|---|---|---|
| Firebird 服务的任务数 | 服务或其父 slice 的 TasksMax | Classic 无法接受新连接 |
| Firebird 用户的任务数 | LimitNPROC、limits.d | 线程创建被拒绝 |
| 整个主机的任务数 | kernel.threads-max、pid_max | 所有程序都被拒绝;threads-max 在启动时根据 RAM 计算 |
| 打开的文件数 | LimitNOFILE | SuperServer 和 SuperClassic 会先触及此限制 |
| 内存 | 服务内存限制、RAM | OOM killer 会终止进程 |
- 哪一级限制服务或父 slice,例如 system.slice。
- 代理自身的份额它的任务及其子进程 gbak 和 fbsvcmgr 会单独计算。
- 对于 Classic每个连接的线程数,以及该限制还允许多少连接。
- 无发现,仅供分析等待磁盘的任务,以及虚拟机监控程序占用的 CPU 时间(steal)。
空间 · 临时文件 · IO · 延迟
磁盘
该代理知道每个磁盘的角色:它存放数据库、Firebird 临时文件或安装文件夹。对于这些磁盘,它会统计可用空间、填充预测、读写延迟、IOPS,以及谁在加载磁盘。
- 可用空间低于 5 GB 警告,低于 1 GB 严重。对于每个文件夹,你可以看到它位于哪个磁盘上。
- 填充百分比警告:磁盘已用 90% 且可用空间少于 20 GiB。严重:已用 97% 且可用空间少于 5 GiB。需要同时满足两个条件,因此有剩余空间的大磁盘不会误报。
- 磁盘快速写满如果按当前速度磁盘将在不到 6 小时内写满则警告;不到 2 小时内写满则严重。正常的夜间备份不会触发警报。发现会指出过去 10 分钟内谁写入了该磁盘。
- Firebird 临时文件按类型统计数量和大小:排序、blob、undo、锁。从 10 GB 起警告,从 50 GB 起严重。你可以看到临时文件和数据库是否在同一磁盘上。
- 性能测试每周夜间一次:在临时数据库中 INSERT、UPDATE 和 DELETE 一百万条记录。你可以比较不同周的结果。
- 延迟和 IOPS每分钟针对有数据库和临时文件的磁盘。读取:从 20 ms 起警告,从 50 ms 起严重。写入:从 10 ms 起警告,从 30 ms 起严重。10 分钟平均值,IOPS 为 10 或以上。仅有临时文件的磁盘——不高于警告。
- 磁盘已满:firebird.log 中的条目
firebird.log中的“no space”错误会立即给出严重并持续 24 小时。发现会指出可用空间最少的磁盘。 - Windows 中的磁盘名称磁盘以其盘符和卷标命名,例如
b: (DATA, Disk 2, database),而不是卷 GUID。
如果 Firebird 占磁盘读写的比例低于 20%,则另一个程序在加载磁盘。此时发现的提示会指出磁盘上的主要“邻居”以及 Firebird 的份额。代理以英文写入提示文本。
谁在加载磁盘
在 Linux 上按 systemd 服务,在 Windows 上按进程。Firebird 行会高亮显示。如果 Firebird 读写很少但磁盘繁忙,原因是邻居程序:杀毒软件、外部备份、另一个服务。在 Windows 上,写入经过系统缓存,因此那里 Firebird 的份额仅按读取计算。
Header · LWM · MON$ · gstat
数据库
服务器上的每个数据库都有自己的页面:大小、状态、sweep、页面大小、方言、所有者、是否拥有自己的安全数据库。按分钟显示四张图表:连接与查询、事务、页面读写、查询准备与执行。
代理从 MON$DATABASE 或文件头中获取状态,以较新者为准:关闭、只读、副本、nbackup 锁。文件头无需连接即可读取。因此,处于关闭状态的数据库也能看到,即使它没有任何连接。点击图表中的某一分钟,可打开该分钟的 trace 中的重查询以及所有连接。
事务:变慢之前的信号
Next − OAT 在一个事务长时间保持打开时会增长。记录版本不断堆积,数据库开始变慢。差距达到 400 万时发出警告,达到 800 万时视为严重。在连接表中很容易找到这个长事务。OST − OIT 在垃圾回收跟不上时增长,例如需要执行 sweep 时。
- MON$ 指标对活跃数据库每小时一次:记录操作、按程序划分的内存、最重的连接。
- 客户端版本每天一次:哪些客户端库在连接,每个库有多少连接。
- 带分析的 gstat表和索引的严重发现与警告数量。
- 增长预测增长最快的表或索引显示“+25%,N 天内”;若在 30 天或以内则显示为红色。
server_status
服务器健康报告
行是服务器系统,列是时间。24 小时范围内一个单元格代表一小时,7 天范围内代表 4 小时,14 天范围内代表 6 小时。单元格显示该时间段内最严重的级别。红色为严重,橙色为警告,绿色为正常。点击单元格可打开该时刻的快照。
新增、恶化、消失
历史面板显示某个发现何时出现、何时变得更严重以及何时消失。日志中的一次性错误会立即显示并保留一小时,文本中带有该条目的时间。
问题持续了多久
各级别的时长以及问题表格:开始、结束、持续时间、系统。“仍处于活动状态”会立即显示。
原因、提示、按钮
发现文本会指明对象:磁盘、文件夹、数据库、用户、程序、客户端版本、查询。每条提示都指明一个操作。旁边有一个按钮:添加备份任务、设置备份搜索文件夹、打开任务或设置。
- 18 个系统服务器、CPU、内存、操作系统限制、磁盘、磁盘速度、firebird.log、Trace 错误、事务与 GC、锁、查询、连接、索引、备份、fbagent 作业、复制、fbagent 代理、安全与许可。如果还有其他发现,会出现一行“其他发现”。
- 图表上的阈值对于 CPU、内存和磁盘速度,可以看到警告线和严重线。
- 面板中的表格磁盘:卷和临时文件夹。事务:存在 OIT/OAT 差距的数据库以及带用户和进程的长事务。复制:带延迟的主库和副本。代理:其健康状况、文件队列和主要作业。
- 一组发现共用一张卡片三个或更多同类且同级别的发现显示为一张卡片。值显示在阈值旁边:“476.5 MiB / 1 GiB”。
- 错误、查询、备份频繁的 trace 错误、最慢的查询(带 Perf Report 链接)、备份发现表格。
- 数据源每个数据源:状态和数据年龄。状态为英文,例如 stale 或 missing。过期或缺失的数据源会高亮显示。静默的代理不会看起来像“一切正常”。
- 不会触发误报的情况代理的处理队列未超过警告阈值。Firebird 停止运行不会使代理自身的状态变得严重:这是一个单独的发现项。
- 仪表板上的标题在“服务器状态”图标旁边有一行文字:主要发现项以及存在发现项的系统。点击即可打开此报告。