HQCenter:服务器集群
多台服务器 尽在一个控制台
HQCenter 是部署在客户现场的一台 Linux 服务器。客户的所有 agent 都连接到它。agent 将数据发送到那里,并从那里获取设置、命令、许可证和新版本。管理员在 HQ Monitor 中查看整个服务器集群,并通过浏览器进行管理。
- 0 个用于与中心通信的入站端口
- mTLS 为每个 agent 颁发证书
- 3 分钟 数据到达中心
- 约 1 分钟 设置到达 agent
- 支持回滚 的 agent 和中心更新
Agent · nginx · goafts · fblogspacker · HQ Monitor
无需入站端口的连接
所有连接都由 agent 发起。HQCenter 从不连接数据库服务器。因此,您无需在 Firebird 服务器上开放端口来与中心通信,位于 NAT 之后的分支机构服务器与相邻机架中的服务器工作方式完全相同。
HQCenter 上的 nginx 后面运行着三个程序。goafts 接收归档文件、颁发证书并存储设置、命令、许可证和新版本。fblogspacker 将归档文件整理到各 agent 文件夹中。HQ Monitor 在浏览器中显示这些文件夹。
| HQCenter 端口 | 连接方 | 校验 |
|---|---|---|
:443 | Agent:归档文件、设置、命令、许可证、新版本 | TLS 1.3 和 agent 证书;已吊销的证书会被拒绝 |
:9443 | 首次连接的新 agent,以及安装程序 | 无 agent 证书:使用 attach.json 中的密钥请求证书、中心密钥指纹、安装程序下载 |
:8443 | 管理员和控制台:管理 | 管理员证书和允许的地址列表 |
:8085 | 浏览器:HQ Monitor 控制台 | 允许的地址列表 |
- 一条命令即可连接中心会提供一个文件
attach.json:地址、密钥指纹和到期日期。在服务器上执行:fbagent --attach --file attach.json。HQbird 2027 安装程序会为您完成此操作。使用常规密钥的请求由管理员在中心面板中批准。许可证密钥在许可证有可用席位时会自动批准该请求。 - agent 名称即证书名称agent 的数据文件夹、设置和控制台行都使用此名称。Windows 安装程序会询问服务器名称;默认为计算机名称。证书有效期为一年;已吊销的证书会立即失效。
- 数据不会丢失每个归档文件最大 120 MiB。网络错误时重试 3 次。已发送的归档文件会被删除;未发送的归档文件绝不会被删除。每个 agent 以自己的偏移量(最多 150 秒)发送,因此同一中心的 agent 不会在同一秒内到达。
- 从中心获取许可证agent 大约在一分钟内获取新许可证:设置轮询的回复会告知其许可证信息。agent 还会在启动时以及每 6 小时请求一次许可证。agent 自行校验许可证,无需网络。许可证页面显示每台服务器的状态。
- 控制台不接触数据库HQ Monitor 根据 agent 文件构建页面。它不连接 Firebird,也不会给数据库带来负载。
- 一台 Linux 服务器Ubuntu 或 AlmaLinux。一个脚本即可安装中心;再次运行会更新现有内容并保留密码和密钥。
IBSurgeon 接收摘要信息:服务器健康状况、服务器列表、备份和恢复列表(不含文件)、事件和周报、集群描述、许可证。日志、跟踪、备份文件、密码和审计日志保留在客户处。
设置编辑器 · 立即运行 · 投递状态
来自中心的设置
中心保存每个 agent 设置的副本。管理员在与 agent 本地相同的编辑器中修改作业和设置,然后点击 保存并发送到 agent。agent 大约在一分钟内获取变更。
agent 不会用新设置覆盖正在使用的设置。它会先检查候选设置。不良的候选设置会被搁置,正在使用的设置保持不变,控制台会显示拒绝原因。
服务器页面上的状态
对于每台服务器,您可以看到最后一次变更的进展:状态图标、发送时间(push)和 agent 回复时间(ack)。图标上的提示会显示 agent 拒绝的原因和确切时间。
一分钟内您就能看到哪些服务器接受了新的备份作业,哪些没有接受,以及原因。
列表中的服务器级别是 agent 对整台服务器的判定。图标下方有一行显示主要发现。仅当 agent 自身的状态比服务器状态更差时,才会单独显示“Agent”图标。
超过 30 分钟没有数据的服务器会显示灰色的“自……起无数据”图标,并移到列表末尾。列表上方的汇总行按级别统计服务器数量。
代理保护服务器
代理会监控自身的内存和 CPU。如果某个代理任务占用过多,代理会暂停该任务,并停止占用内存的运行。它不会影响备份和数据上传。如果代理内存仍在增长,代理会自行重启。被代理关闭的任务会显示在健康报告和编辑器中;点击一个按钮即可重新开启。
从中心立即运行
你可以立即启动备份、恢复、sweep、gfix 检查或索引重算,无需等待计划时间。请求走同一条路径:先进入 goafts,然后代理在轮询时获取它并放入自己的队列,经过常规检查。
- 草稿在控制台中保存更改,稍后发送。你可以看到状态:未发送、已发送、已应用、已被取代。
- 密码对中心隐藏控制台使用代理公钥加密新密码。只有其所在服务器上的代理才能解密。
- 设置副本每次替换前,代理会保存一份副本:保留最近 10 份,至少 14 天。被拒绝的候选设置保留 90 天。
- 仅限服务器本地发布签名检查、许可证、远程命令、程序路径和控制台登录无法从中心更改。
- 替换数据库需要双方确认替换工作数据库的远程恢复只有在服务器本身允许且用户拥有单独权限时才会运行。开始前,你必须输入数据库文件名。
- 从中心下发 databases.conf你可以将文件发送给一个代理。goafts 只负责传递;代理会检查并写入文件,并将旧文件保留在旁边。
签名 · 回滚点 · 检查
带回滚的更新
代理从 HQCenter 获取新版本,而不是从互联网。代理会自行更新、HQ Monitor、集群程序和 Firebird。每次更新都遵循同一方案:检查签名、保存回滚点、安装、检查是否正常工作。如果不工作,则回退到旧版本。
- 1签名由 IBSurgeon 签名的发布版本
- 2回滚点当前版本的副本
- 3安装替换文件
- 4检查新版本报告“我正在工作”并运行 45 秒
- 5完成新版本正常工作
- ↺回滚从回滚点恢复副本
- ✓旧版本正常工作回滚 2 次后该版本被阻止
| 更新内容 | 时机 | 保护措施 |
|---|---|---|
| 代理 | 当设置轮询的回复报告有新版本时立即更新,之后每小时一次;若无此类回复,则每 180 秒一次 | 签名、2 个回滚点。新版本必须报告“我正在工作”并运行 45 秒。回滚 2 次后该版本被阻止。 |
| HQ Monitor | 设置轮询正常工作时每小时一次;否则每 180 秒一次 | 控制台健康检查 30 秒,保留旧版本副本。 |
| 集群程序 | 每 180 秒检查一次 | 先副本,后主节点。 |
| Firebird | 仅在时间窗口内,默认 03:30–04:00 | 等待备份完成。安装后检查,失败则回滚。已回滚的构建不会再次安装。 |
| HQCenter | 每 15 分钟一次,前提是 IBSurgeon 为此中心开启了更新;在 IBSurgeon 设定的时间窗口内,例如 02:00–05:00 | 默认关闭。中心所有者可以禁止更新:STACK_UPDATE=off。先检查堆栈签名,然后检查服务最多 5 分钟。如果服务失败,则从缓存安装之前的堆栈。 |
- 先测试,再全面推广IBSurgeon 先将发布版本发布到测试区,检查通过后再发布到生产区。HQCenter 每小时复制其所在区域的发布版本一次。
- 签名检查两次中心在下载前检查签名,并在写入的字节上再次检查。代理在安装前再检查一次。
- 无法降级除非服务器本身允许,否则无法安装低于当前版本的版本。
- 在 Linux 上,root 会更改文件代理服务不以 root 身份运行,无法替换受信任的安装文件。
状态监控 · 电子邮件 · webhook
问题邮件和每周报告
HQCenter 读取每个代理的健康快照。新出现的问题,或变得更严重的问题,都是一个事件。中心本身负责发送电子邮件或 webhook。每周一次,中心会为整个集群生成一份报告。
中心本身不会更改任何内容。如果某个问题持续数周,而这对该服务器来说是正常的,中心会建议一个新的阈值。只有人才能应用它。
- 1读取状态每 2 分钟一次,前提是代理文件已更改
- 2事件新增、恶化、消失、恢复
- 3电子邮件或 webhook;24 小时内不重复
- 4每周报告默认周一 07:00
- 5✓ 建议新阈值;由管理员应用
整个集群 14 天的情况
对每台服务器:无问题时间占比、每周事件次数,以及哪些发现处于“卡住”状态。
不是噪音,而是正常现象
至少一半时间处于活动状态,且连续至少一周。例如,服务器 CPU 始终接近阈值。
基于真实数据的阈值
略高于服务器实际表现:比最大值高四分之一。对于较低的阈值,例如可用空间,则比最小值低五分之一。你可以在批准前更改它;有效期为 30 天。
- 一台主机,一封邮件如果一台主机运行多个代理,主机 CPU、内存或磁盘问题只计一次。
- 消失或隐藏事件会说明问题为何消失:已修复、被管理员确认,或变为信息。
- 批准即新的设置版本阈值以管理员名义通过正常下发方式发送给代理。每次批准和拒绝都会记录在审计日志中。
- 邮件中的链接邮件会注明主机名,给出提示以及指向 HQ Monitor 中该服务器的链接。
中心管理员负责开启电子邮件和 webhook。在设置完成之前,不会发送任何邮件。事件和报告可在中心面板及其 API 中查看。
用户 · 权限 · 审计 · 语言
用户与权限
每个用户只能看到自己的服务器。更改权限需单独逐项授予。
管理员可以看到所有服务器并管理用户。普通用户只能看到其列表中的服务器。新的权限或新的列表会在下次页面加载时生效;新密码会使该用户从所有浏览器中退出登录。
| 权限 | 允许的操作 |
|---|---|
| 发送设置 | 通过中心将更改后的设置发送给代理。 |
| 运行作业 | 启动和取消备份、恢复、sweep 或索引重算(立即运行)。 |
| 替换数据库的作业 | 启动会替换工作数据库的恢复操作。仅可与运行权限一起使用,且仅在代理也允许的情况下。 |
- 审计日志每次保存、发送、密码更改和作业启动都会连同用户登录名一起记录。在 goafts 中,哈希链保护日志。
- 代理请求日志代理本身会为每个更改服务器的请求和每次访问拒绝写一行记录:Local API、来自中心的命令、立即运行、设置更改、更新。密码和请求正文不会写入日志。该文件会连同日志一起发送到中心。
- HQ Monitor 登录会话持续 7 天。15 分钟内来自同一地址的登录尝试不超过 8 次。
- 中心管理面板单独的登录,仅限使用管理员证书。会话持续 8 小时。15 分钟内 5 次失败尝试后,登录将关闭 15 分钟。
- 最多 2000 个用户每个用户都有自己的密码和服务器列表;分配服务器时可按服务器搜索。
- 5 种界面语言英语、俄语、德语、葡萄牙语(巴西)、西班牙语。统计报告也使用所选语言。