IBSurgeon 宣布发布 HQbird 中流式传输技术的 1.6.2 版本

IBSurgeon 宣布 HQbird 中流式处理技术 1.6.2 版本发布

葡萄牙语版本见下方。

流式处理（也称为变更数据捕获）是一种无需 SELECT 查询即可捕获数据库变更并将数据发送到外部目标的方式。HQbird 包含现成的插件，可将变更发送到 Kafka、RabbitMQ、MongoDB 或简单的 JSON 文件。插件系统是可扩展的–您可以为其他目标开发自定义插件。

它是如何工作的？

HQbird Streaming 读取 Firebird 复制日志以捕获数据库变更。系统处理已提交的事务，并将每条记录变更转换为单独的消息。配置流式处理插件后，它将捕获：

INSERT - 新记录中的所有列值
UPDATE - 主键、记录新旧版本中的所有列（包括最大 10MB 的 BLOB）
DELETE - 主键和所有旧列值（包括最大 10MB 的 BLOB - 可配置）

您可以配置流式处理以捕获所选表或数据库中所有表的变更。

系统将每个变更打包为所需格式（Kafka 消息、RabbitMQ 消息、MongoDB 文档或 JSON 文件）并交付。

技术特性：

延迟：通常为 30 秒（可配置为 5 到 60 秒）
吞吐量：经测试可达每秒 10,000 条记录变更
缓冲区：基于磁盘，可在 HQbird 重启后保留
无需修改数据库（适用于现有的 Firebird 4.0+ 数据库）

为什么有用？

流式处理提供了一种高效的变更捕获方式。有两个主要用例：事件驱动通知和向外部系统复制数据。

获取通知

示例：医疗预约系统

当系统创建或更改患者预约时，需要通过推送通知告知医生、向患者发送短信，并更新 Google Calendar。

传统方法要求每个服务（短信发送器、Google 集成和应用）定期执行 SELECT 查询。这会产生几个问题：

所有服务都需要与数据库建立 SQL 连接
频繁查询会造成不必要的数据库负载（一个已知的 Firebird 反模式）
创建和维护 SQL 查询需要额外的开发工作
服务与数据库之间紧密耦合

使用流式处理，APPOINTMENTS 表中的每次变更都会生成一条发送到 Kafka 的消息。所有微服务订阅这些消息并自动接收通知。这种方法：

只需要一个数据库连接
消除了轮询查询
减少了数据库负载
将服务与数据库解耦
在一分钟内交付通知

向外部系统复制变更

示例：云商业智能系统

如果您使用 Snowflake 或 BigQuery 等云 BI 系统，定期的全量数据导出会造成财务负担。运行 SQL 查询导出大量数据，然后通过 ETL 管道处理，需要高带宽和处理能力。这种方法还会使您的分析数据滞后数小时或数天。

使用流式处理，您只需将实际变更发送到外部系统。无需每天导出数百万条记录，只需流式传输实际发生变更的数千条记录。这种方法：

将数据传输减少 99% 或更多
以极短延迟更新外部系统（通常不到一分钟）
显著降低云处理成本
最大限度减少带宽需求
消除对数据库性能的影响

许可

流式处理包含在 HQbird（每服务器、无限订阅和企业支持）许可证中。该功能应许可客户要求提供。

实施支持

IBSurgeon 为 HQbird 许可证持有者和技术支持客户提供免费的流式处理解决方案实施支持，有效期至 2025 年 12 月 31 日。包括：

针对您的用例进行架构审查
插件配置协助
流式处理性能调优建议
故障排除支持

联系我们

联系 IBSurgeon 以在您的 HQbird 安装中启用流式处理

IBSurgeon 宣布在 HQbird 中发布流式处理技术 1.6.2 版本

流式处理（也称为变更数据捕获或 CDC）是一种无需 SELECT 查询即可捕获数据库变更并将数据发送到外部目标的方式。

HQbird 包含现成的插件，可将变更发送到 Kafka、RabbitMQ、MongoDB 或简单的 JSON 文件。插件系统是可扩展的–您可以为其他目标开发自定义插件。

它是如何工作的？

HQbird Streaming 读取 Firebird 事务日志以捕获数据库变更。系统处理已提交的事务，并将每条记录变更转换为单独的消息。

配置流式处理插件后，它将捕获：

INSERT - 新记录中的所有列值
UPDATE - 主键、记录新旧版本中的所有列（包括最大 10MB 的 BLOB - 可配置）
DELETE - 主键和所有旧列值（包括最大 10MB 的 BLOB）