A versão em português esta abaixo.
Streaming (also known as change data capture) is a way to capture changes in the database without SELECT queries and send data to external destinations. HQbird includes ready-to-use plugins to send changes to Kafka, RabbitMQ, MongoDB, or simple JSON files. The plugin system is extensible - you can develop custom plugins for other targets.
How does it work?
HQbird Streaming reads the Firebird replication log to capture database changes. The system processes committed transactions and converts each record change into a separate message. After configuring the streaming plugin, it captures:
- INSERT - all column values from the new record
- UPDATE - primary key, all columns from both old and new versions of the record (including BLOBs up to 10MB)
- DELETE - primary key and all old column values (including BLOBs up to 10MB - configutable)
You can configure streaming to capture changes from selected tables or all tables in the database.
The system packs each change into the desired format (Kafka message, RabbitMQ message, MongoDB document, or JSON file) and delivers it.
Technical characteristics:
- Latency: typically 30 seconds (configurable from 5 to 60 seconds)
- Throughput: tested up to 10,000 record changes per second
- Buffer: disk-based, survives HQbird restarts
- No database modifications required (works with existing Firebird 4.0+ databases)
Why is it useful?
Streaming provides an efficient way to capture changes. There are two main use cases: event-driven notifications and data replication to external systems.
Getting Notifications
Example: Healthcare appointment system
When the system creates or changes a patient appointment, it needs to notify the doctor with a push notification, send SMS to the patient, and update Google Calendar.
The traditional approach requires periodic SELECT queries from each service - SMS sender, Google integration, and the application. This creates several problems:
- All services need SQL connections to the database
- Frequent queries create unnecessary database load (a known Firebird anti-pattern)
- Extra development effort to create and maintain SQL queries
- Tight coupling between services and database
With streaming, each change in the APPOINTMENTS table generates a message sent to Kafka. All microservices subscribe to these messages and receive notifications automatically. This approach:
- Requires only one database connection
- Eliminates polling queries
- Reduces database load
- Decouples services from the database
- Delivers notifications in under one minute
Replication of Changes to External Systems
Example: Cloud business intelligence systems
If you use cloud BI systems like Snowflake or BigQuery, regular full data exports create a financial burden. Running SQL queries to export large amounts of data and then processing them through ETL pipelines requires high bandwidth and processing power. This approach also leaves your analytics data hours or days out of date.
With streaming, you send only the actual changes to the external system. Instead of exporting millions of records daily, you stream only the thousands of records that actually changed. This approach:
- Reduces data transfer by 99% or more
- Updates external systems with very little delay (typically less than one minute)
- Significantly reduces cloud processing costs
- Minimizes bandwidth requirements
- Eliminates impact on database performance
Licensing
Streaming is included in HQbird (per-server, unlimited subscription, and corporate support) licenses. The feature is supplied by request to licensed customers.
Implementation Support
IBSurgeon offers free implementation support for streaming solutions to HQbird license holders and technical support customers until December 31, 2025. This includes:
- Architecture review for your use case
- Plugin configuration assistance
- Performance tuning recommendations for streaming
- Troubleshooting support
Contact us
Contact IBSurgeon to enable streaming in your HQbird installation
IBSurgeon anuncia o lançamento 1.6.2 da tecnologia de streaming no HQbird
Streaming (também conhecido como captura de dados de mudança ou CDC) é uma forma de capturar alterações no banco de dados sem consultas SELECT e enviar dados para destinos externos.
HQbird inclui plugins prontos para uso para enviar alterações para Kafka, RabbitMQ, MongoDB ou arquivos JSON simples. O sistema de plugins é extensível - você pode desenvolver plugins personalizados para outros destinos.
Como funciona?
O HQbird Streaming lê o log de transações do Firebird para capturar alterações no banco de dados. O sistema processa transações confirmadas e converte cada alteração de registro em uma mensagem separada.
Após configurar o plugin de streaming, ele captura:
- INSERT - todos os valores de colunas do novo registro
- UPDATE - chave primária, todas as colunas das versões antiga e nova do registro (incluindo BLOBs de até 10MB - configuravel)
- DELETE - chave primária e todos os valores antigos das colunas (incluindo BLOBs de até 10MB)
Você pode configurar o streaming para capturar alterações de tabelas selecionadas ou de todas as tabelas no banco de dados.
O sistema empacota cada alteração no formato desejado (mensagem Kafka, mensagem RabbitMQ, documento MongoDB ou arquivo JSON).
Características técnicas:
- Latência: tipicamente 30 segundos (configurável de 5 a 60 segundos)
- Taxa de transferência: testado até 10.000 alterações de registros por segundo
- Buffer: baseado em disco, sobrevive a reinicializações do HQbird
- Nenhuma modificação no banco de dados necessária (funciona com bancos de dados Firebird 4.0+ existentes)
Por que é útil?
O streaming fornece uma maneira eficiente de capturar alterações. Existem dois casos de uso principais: notificações orientadas a eventos e replicação de dados para sistemas externos.
Obtendo Notificações
Exemplo: Sistema de agendamento médico
Quando o sistema cria ou altera um agendamento de paciente, ele precisa notificar o médico com uma notificação push, enviar SMS para o paciente e atualizar o Google Calendar.
A abordagem tradicional requer consultas SELECT periódicas de cada serviço - remetente de SMS, integração com Google e aplicativo. Isso cria vários problemas:
- Todos os serviços precisam de conexões SQL com o banco de dados
- Consultas frequentes criam carga desnecessária no banco de dados (um antipadrão conhecido do Firebird)
- Esforço extra de desenvolvimento para criar e manter consultas SQL
- Acoplamento forte entre serviços e banco de dados
Com streaming, cada alteração na tabela APPOINTMENTS gera uma mensagem enviada para o Kafka. Todos os microsserviços se inscrevem nessas mensagens e recebem notificações automaticamente. Esta abordagem:
- Requer apenas uma conexão com o banco de dados
- Elimina consultas de polling
- Reduz a carga do banco de dados
- Desacopla os serviços do banco de dados
- Entrega notificações em menos de um minuto
Replicação de Alterações para Sistemas Externos
Exemplo: Sistemas de business intelligence na nuvem
Se você usa sistemas de BI na nuvem como Snowflake ou BigQuery, exportações completas de dados regulares criam um ônus financeiro. Executar consultas SQL para exportar grandes quantidades de dados e depois processá-los através de pipelines ETL requer alta largura de banda e poder de processamento. Essa abordagem também deixa seus dados analíticos desatualizados por horas ou dias.
Com streaming, você envia apenas as alterações reais para o sistema externo. Em vez de exportar milhões de registros diariamente, você transmite apenas os milhares de registros que realmente mudaram. Esta abordagem:
- Reduz a transferência de dados em 99% ou mais
- Atualiza sistemas externos com muito pouco atraso (tipicamente menos de um minuto)
- Reduz significativamente os custos de processamento na nuvem
- Minimiza requisitos de largura de banda
- Elimina impacto no desempenho do banco de dados
Licenciamento
O streaming está incluído nas licenças HQbird (por servidor, assinatura ilimitada e suporte corporativo). O recurso é fornecido mediante solicitação aos clientes licenciados.
Suporte de Implementação
A IBSurgeon oferece suporte gratuito de implementação para soluções de streaming aos detentores de licença HQbird e clientes de suporte corporativo até 31 de dezembro de 2025.
Isso inclui:
- Revisão de arquitetura para seu caso de uso
- Assistência na configuração de plugins
- Recomendações de ajuste de desempenho de streaming
- Suporte para solução de problemas
Entre em contato
Entre em contato com a IBSurgeon para habilitar o streaming em sua instalação do HQbird.
en
br