IBSurgeon annuncia il rilascio della versione 1.6.2 della tecnologia streaming in HQbird
IBSurgeon annuncia il rilascio 1.6.2 della tecnologia streaming in HQbird
La versione in portoghese è qui sotto.
Lo streaming (noto anche come change data capture) è un modo per catturare le modifiche nel database senza query SELECT e inviare i dati a destinazioni esterne. HQbird include plugin pronti all’uso per inviare le modifiche a Kafka, RabbitMQ, MongoDB o semplici file JSON. Il sistema di plugin è estensibile: puoi sviluppare plugin personalizzati per altre destinazioni.
Come funziona?
HQbird Streaming legge il log di replica di Firebird per catturare le modifiche al database. Il sistema elabora le transazioni confermate e converte ogni modifica di record in un messaggio separato. Dopo aver configurato il plugin di streaming, cattura:
- INSERT - tutti i valori delle colonne dal nuovo record
- UPDATE - chiave primaria, tutte le colonne sia dalla versione vecchia che da quella nuova del record (inclusi BLOB fino a 10MB)
- DELETE - chiave primaria e tutti i vecchi valori delle colonne (inclusi BLOB fino a 10MB - configurabile)
Puoi configurare lo streaming per catturare modifiche da tabelle selezionate o da tutte le tabelle del database.
Il sistema impacchetta ogni modifica nel formato desiderato (messaggio Kafka, messaggio RabbitMQ, documento MongoDB o file JSON) e la consegna.
Caratteristiche tecniche:
- Latenza: tipicamente 30 secondi (configurabile da 5 a 60 secondi)
- Throughput: testato fino a 10.000 modifiche di record al secondo
- Buffer: basato su disco, sopravvive ai riavvii di HQbird
- Nessuna modifica al database richiesta (funziona con database Firebird 4.0+ esistenti)
Perché è utile?
Lo streaming fornisce un modo efficiente per catturare le modifiche. Ci sono due casi d’uso principali: notifiche guidate da eventi e replica dei dati verso sistemi esterni.
Ricevere Notifiche
Esempio: Sistema di appuntamenti sanitari
Quando il sistema crea o modifica un appuntamento di un paziente, deve notificare il medico con una notifica push, inviare SMS al paziente e aggiornare Google Calendar.
L’approccio tradizionale richiede query SELECT periodiche da ciascun servizio: mittente SMS, integrazione Google e applicazione. Questo crea diversi problemi:
- Tutti i servizi necessitano di connessioni SQL al database
- Query frequenti creano carico inutile sul database (un noto anti-pattern di Firebird)
- Sforzo di sviluppo extra per creare e mantenere query SQL
- Forte accoppiamento tra servizi e database
Con lo streaming, ogni modifica nella tabella APPOINTMENTS genera un messaggio inviato a Kafka. Tutti i microservizi si sottoscrivono a questi messaggi e ricevono notifiche automaticamente. Questo approccio:
- Richiede una sola connessione al database
- Elimina le query di polling
- Riduce il carico sul database
- Disaccoppia i servizi dal database
- Consegna le notifiche in meno di un minuto
Replica delle Modifiche verso Sistemi Esterni
Esempio: Sistemi di business intelligence cloud
Se usi sistemi BI cloud come Snowflake o BigQuery, le esportazioni complete regolari dei dati creano un onere finanziario. Eseguire query SQL per esportare grandi quantità di dati e poi processarli attraverso pipeline ETL richiede elevata larghezza di banda e potenza di elaborazione. Questo approccio lascia inoltre i tuoi dati analitici obsoleti di ore o giorni.
Con lo streaming, invii solo le modifiche effettive al sistema esterno. Invece di esportare milioni di record quotidianamente, trasmetti solo le migliaia di record che sono realmente cambiati. Questo approccio:
- Riduce il trasferimento dati del 99% o più
- Aggiorna i sistemi esterni con pochissimo ritardo (tipicamente meno di un minuto)
- Riduce significativamente i costi di elaborazione cloud
- Minimizza i requisiti di larghezza di banda
- Elimina l’impatto sulle prestazioni del database
Licenze
Lo streaming è incluso nelle licenze HQbird (per server, abbonamento illimitato e supporto aziendale). La funzionalità è fornita su richiesta ai clienti con licenza.
Supporto all’Implementazione
IBSurgeon offre supporto gratuito all’implementazione per soluzioni di streaming ai titolari di licenza HQbird e ai clienti con supporto tecnico fino al 31 dicembre 2025. Questo include:
- Revisione dell’architettura per il tuo caso d’uso
- Assistenza nella configurazione dei plugin
- Raccomandazioni per l’ottimizzazione delle prestazioni dello streaming
- Supporto per la risoluzione dei problemi
Contattaci
Contatta IBSurgeon per abilitare lo streaming nella tua installazione HQbird
IBSurgeon annuncia il rilascio 1.6.2 della tecnologia streaming in HQbird
Lo streaming (noto anche come cattura dei dati di modifica o CDC) è un modo per catturare le modifiche nel database senza query SELECT e inviare dati a destinazioni esterne.
HQbird include plugin pronti all’uso per inviare modifiche a Kafka, RabbitMQ, MongoDB o semplici file JSON. Il sistema di plugin è estensibile: puoi sviluppare plugin personalizzati per altre destinazioni.
Come funziona?
HQbird Streaming legge il log delle transazioni di Firebird per catturare le modifiche al database. Il sistema elabora le transazioni confermate e converte ogni modifica di record in un messaggio separato.
Dopo aver configurato il plugin di streaming, cattura:
- INSERT - tutti i valori delle colonne dal nuovo record
- UPDATE - chiave primaria, tutte le colonne sia dalla versione vecchia che da quella nuova del record (inclusi BLOB fino a 10MB - configurabile)
- DELETE - chiave primaria e tutti i vecchi valori delle colonne (inclusi BLOB fino a 10MB)
Puoi configurare lo streaming per catturare modifiche da tabelle selezionate o da tutte le tabelle del database.
Il sistema impacchetta ogni modifica nel formato desiderato (messaggio Kafka, messaggio RabbitMQ, documento MongoDB o file JSON).
Caratteristiche tecniche:
- Latenza: tipicamente 30 secondi (configurabile da 5 a 60 secondi)
- Throughput: testato fino a 10.000 modifiche di record al secondo
- Buffer: basato su disco, sopravvive ai riavvii di HQbird
- Nessuna modifica al database richiesta (funziona con database Firebird 4.0+ esistenti)
Perché è utile?
Lo streaming fornisce un modo efficiente per catturare le modifiche. Ci sono due casi d’uso principali: notifiche guidate da eventi e replica dei dati verso sistemi esterni.
Ricevere Notifiche
Esempio: Sistema di appuntamenti sanitari
Quando il sistema crea o modifica un appuntamento di un paziente, deve notificare il medico con una notifica push, inviare SMS al paziente e aggiornare Google Calendar.
L’approccio tradizionale richiede query SELECT periodiche da ciascun servizio: mittente SMS, integrazione Google e applicazione. Questo crea diversi problemi:
- Tutti i servizi necessitano di connessioni SQL al database
- Query frequenti creano carico inutile sul database (un noto anti-pattern di Firebird)
- Sforzo di sviluppo extra per creare e mantenere query SQL
- Forte accoppiamento tra servizi e database
Con lo streaming, ogni modifica nella tabella APPOINTMENTS genera un messaggio inviato a Kafka. Tutti i microservizi si sottoscrivono a questi messaggi e ricevono notifiche automaticamente. Questo approccio:
- Richiede una sola connessione al database
- Elimina le query di polling
- Riduce il carico sul database
- Disaccoppia i servizi dal database
- Consegna le notifiche in meno di un minuto
Replica delle Modifiche verso Sistemi Esterni
Esempio: Sistemi di business intelligence cloud
Se usi sistemi BI cloud come Snowflake o BigQuery, le esportazioni complete regolari dei dati creano un onere finanziario. Eseguire query SQL per esportare grandi quantità di dati e poi processarli attraverso pipeline ETL richiede elevata larghezza di banda e potenza di elaborazione. Questo approccio lascia inoltre i tuoi dati analitici obsoleti di ore o giorni.
Con lo streaming, invii solo le modifiche effettive al sistema esterno. Invece di esportare milioni di record quotidianamente, trasmetti solo le migliaia di record che sono realmente cambiati. Questo approccio:
- Riduce il trasferimento dati del 99% o più
- Aggiorna i sistemi esterni con pochissimo ritardo (tipicamente meno di un minuto)
- Riduce significativamente i costi di elaborazione cloud
- Minimizza i requisiti di larghezza di banda
- Elimina l’impatto sulle prestazioni del database
Licenze
Lo streaming è incluso nelle licenze HQbird (per server, abbonamento illimitato e supporto aziendale). La funzionalità è fornita su richiesta ai clienti con licenza.
Supporto all’Implementazione
IBSurgeon offre supporto gratuito all’implementazione per soluzioni di streaming ai titolari di licenza HQbird e ai clienti con supporto aziendale fino al 31 dicembre 2025.
Questo include:
- Revisione dell’architettura per il tuo caso d’uso
- Assistenza nella configurazione dei plugin
- Raccomandazioni per l’ottimizzazione delle prestazioni dello streaming
- Supporto per la risoluzione dei problemi
Contattaci
Contatta IBSurgeon per abilitare lo streaming nella tua installazione HQbird.