IBSurgeon oznamuje vydání verze 1.6.2 streamovací technologie v HQbird

Portugalská verze je níže.

Streaming (také známý jako change data capture) je způsob zachycování změn v databázi bez SELECT dotazů a odesílání dat do externích cílů. HQbird obsahuje připravené pluginy pro odesílání změn do Kafka, RabbitMQ, MongoDB nebo jednoduchých JSON souborů. Plugin systém je rozšiřitelný - můžete vyvíjet vlastní pluginy pro další cíle.

Jak to funguje?

HQbird Streaming čte transakční log Firebirdu pro zachycení změn v databázi. Systém zpracovává potvrzené transakce a převádí každou změnu záznamu na samostatnou zprávu. Po nakonfigurování streamovacího pluginu zachycuje:

INSERT - všechny hodnoty sloupců z nového záznamu
UPDATE - primární klíč, všechny sloupce z obou verzí záznamu (staré i nové), včetně BLOBů do 10MB
DELETE - primární klíč a všechny staré hodnoty sloupců (včetně BLOBů do 10MB - konfigurovatelné)

Streaming můžete nakonfigurovat pro zachycování změn z vybraných tabulek nebo ze všech tabulek v databázi.

Systém zabalí každou změnu do požadovaného formátu (Kafka zpráva, RabbitMQ zpráva, MongoDB dokument nebo JSON soubor) a doručí ji.

Technické charakteristiky:

Latence: typicky 30 sekund (konfigurovatelné od 5 do 60 sekund)
Propustnost: testováno až 10 000 změn záznamů za sekundu
Buffer: na disku, přežije restart HQbird
Bez nutnosti úprav databáze (funguje s existujícími Firebird 4.0+ databázemi)

Proč je to užitečné?

Streaming poskytuje efektivní způsob zachycování změn. Existují dva hlavní případy použití: událostmi řízená oznámení a replikace dat do externích systémů.

Získávání oznámení

Příklad: Systém zdravotnických objednání

Když systém vytvoří nebo změní objednání pacienta, potřebuje upozornit lékaře push notifikací, poslat SMS pacientovi a aktualizovat Google Calendar.

Tradiční přístup vyžaduje periodické SELECT dotazy z každé služby - odesílatele SMS, Google integrace a aplikace. To vytváří několik problémů:

Všechny služby potřebují SQL připojení k databázi
Časté dotazy vytvářejí zbytečnou zátěž databáze (známý Firebird anti-vzor)
Extra vývojové úsilí pro vytváření a údržbu SQL dotazů
Těsné propojení mezi službami a databází

Se streamingem každá změna v tabulce APPOINTMENTS generuje zprávu odeslanou do Kafka. Všechny mikroslužby se přihlásí k odběru těchto zpráv a dostávají oznámení automaticky. Tento přístup:

Vyžaduje pouze jedno databázové připojení
Eliminuje polling dotazy
Snižuje zátěž databáze
Odděluje služby od databáze
Doručuje oznámení do jedné minuty

Replikace změn do externích systémů

Příklad: Cloudové business intelligence systémy

Pokud používáte cloudové BI systémy jako Snowflake nebo BigQuery, pravidelné úplné exporty dat vytvářejí finanční zátěž. Spouštění SQL dotazů pro export velkého množství dat a jejich následné zpracování přes ETL pipeline vyžaduje vysokou šířku pásma a výpočetní výkon. Tento přístup také nechává vaše analytická data hodiny nebo dny zastaralá.

Se streamingem odesíláte pouze skutečné změny do externího systému. Místo exportu milionů záznamů denně streamujete pouze tisíce záznamů, které se skutečně změnily. Tento přístup:

Snižuje přenos dat o 99 % nebo více
Aktualizuje externí systémy s velmi malým zpožděním (typicky méně než jedna minuta)
Výrazně snižuje náklady na cloudové zpracování
Minimalizuje požadavky na šířku pásma
Eliminuje dopad na výkon databáze

Licencování

Streaming je zahrnut v licencích HQbird (per-server, neomezené předplatné a podniková podpora). Funkce je poskytována na vyžádání licencovaným zákazníkům.

Podpora implementace

IBSurgeon nabízí bezplatnou podporu implementace streamovacích řešení držitelům licencí HQbird a zákazníkům technické podpory do 31. prosince 2025. To zahrnuje:

Přezkum architektury pro váš případ použití
Asistenci s konfigurací pluginů
Doporučení pro ladění výkonu streamingu
Podporu při řešení problémů

Kontaktujte nás

Kontaktujte IBSurgeon pro povolení streamingu ve vaší instalaci HQbird

IBSurgeon anuncia o lançamento 1.6.2 da tecnologia de streaming no HQbird

Streaming (também conhecido como captura de dados de mudança ou CDC) é uma forma de capturar alterações no banco de dados sem consultas SELECT e enviar dados para destinos externos.

HQbird inclui plugins prontos para uso para enviar alterações para Kafka, RabbitMQ, MongoDB ou arquivos JSON simples. O sistema de plugins é extensível - você pode desenvolver plugins personalizados para outros destinos.

Como funciona?

O HQbird Streaming lê o log de transações do Firebird para capturar alterações no banco de dados. O sistema processa transações confirmadas e converte cada alteração de registro em uma mensagem separada.

Após configurar o plugin de streaming, ele captura:

INSERT - todos os valores de colunas do novo registro
UPDATE - chave primária, todas as colunas das versões antiga e nova do registro (incluindo BLOBs de até 10MB - configuravel)
DELETE - chave primária e todos os valores antigos das colunas (incluindo BLOBs de até 10MB)

Você pode configurar o streaming para capturar alterações de tabelas selecionadas ou de todas as tabelas no banco de dados.

O sistema empacota cada alteração no formato desejado (mensagem Kafka, mensagem RabbitMQ, documento MongoDB ou arquivo JSON).

Características técnicas:

Latência: tipicamente 30 segundos (configurável de 5 a 60 segundos)
Taxa de transferência: testado até 10.000 alterações de registros por segundo
Buffer: baseado em disco, sobrevive a reinicializações do HQbird
Nenhuma modificação no banco de dados necessária (funciona com bancos de dados Firebird 4.0+ existentes)

Por que é útil?

O streaming fornece uma maneira eficiente de capturar alterações. Existem dois casos de uso principais: notificações orientadas a eventos e replicação de dados para sistemas externos.

Obtendo Notificações

Exemplo: Sistema de agendamento médico

Quando o sistema cria ou altera um agendamento de paciente, ele precisa notificar o médico com uma notificação push, enviar SMS para o paciente e atualizar o Google Calendar.

A abordagem tradicional requer consultas SELECT periódicas de cada serviço - remetente de SMS, integração com Google e aplicativo. Isso cria vários problemas:

Todos os serviços precisam de conexões SQL com o banco de dados
Consultas frequentes criam carga desnecessária no banco de dados (um antipadrão conhecido do Firebird)
Esforço extra de desenvolvimento para criar e manter consultas SQL
Acoplamento forte entre serviços e banco de dados

Com streaming, cada alteração na tabela APPOINTMENTS gera uma mensagem enviada para o Kafka. Todos os microsserviços se inscrevem nessas mensagens e recebem notificações automaticamente. Esta abordagem:

Requer apenas uma conexão com o banco de dados
Elimina consultas de polling
Reduz a carga do banco de dados
Desacopla os serviços do banco de dados
Entrega notificações em menos de um minuto

Replicação de Alterações para Sistemas Externos

Exemplo: Sistemas de business intelligence na nuvem

Se você usa sistemas de BI na nuvem como Snowflake ou BigQuery, exportações completas de dados regulares criam um ônus financeiro. Executar consultas SQL para exportar grandes quantidades de dados e depois processá-los através de pipelines ETL requer alta largura de banda e poder de processamento. Essa abordagem também deixa seus dados analíticos desatualizados por horas ou dias.

Com streaming, você envia apenas as alterações reais para o sistema externo. Em vez de exportar milhões de registros diariamente, você transmite apenas os milhares de registros que realmente mudaram. Esta abordagem:

Reduz a transferência de dados em 99% ou mais
Atualiza sistemas externos com muito pouco atraso (tipicamente menos de um minuto)
Reduz significativamente os custos de processamento na nuvem
Minimiza requisitos de largura de banda
Elimina impacto no desempenho do banco de dados

Licenciamento

O streaming está incluído nas licenças HQbird (por servidor, assinatura ilimitada e suporte corporativo). O recurso é fornecido mediante solicitação aos clientes licenciados.

Suporte de Implementação

A IBSurgeon oferece suporte gratuito de implementação para soluções de streaming aos detentores de licença HQbird e clientes de suporte corporativo até 31 de dezembro de 2025.

Isso inclui:

Revisão de arquitetura para seu caso de uso
Assistência na configuração de plugins
Recomendações de ajuste de desempenho de streaming
Suporte para solução de problemas

Entre em contato

Entre em contato com a IBSurgeon para habilitar o streaming em sua instalação do HQbird.