IBSurgeon kündigt die Veröffentlichung von Version 1.6.2 der Streaming-Technologie in HQbird an.

IBSurgeon kündigt Release 1.6.2 der Streaming-Technologie in HQbird an

Die portugiesische Version finden Sie unten.

Streaming (auch bekannt als Change Data Capture) ist eine Möglichkeit, Änderungen in der Datenbank ohne SELECT-Abfragen zu erfassen und Daten an externe Ziele zu senden. HQbird enthält gebrauchsfertige Plugins zum Senden von Änderungen an Kafka, RabbitMQ, MongoDB oder einfache JSON-Dateien. Das Plugin-System ist erweiterbar - Sie können benutzerdefinierte Plugins für andere Ziele entwickeln.

Wie funktioniert es?

HQbird Streaming liest das Firebird-Replikationsprotokoll, um Datenbankänderungen zu erfassen. Das System verarbeitet bestätigte Transaktionen und konvertiert jede Datensatzänderung in eine separate Nachricht. Nach der Konfiguration des Streaming-Plugins erfasst es:

• INSERT - alle Spaltenwerte des neuen Datensatzes
• UPDATE - Primärschlüssel, alle Spalten sowohl der alten als auch der neuen Version des Datensatzes (einschließlich BLOBs bis zu 10 MB)
• DELETE - Primärschlüssel und alle alten Spaltenwerte (einschließlich BLOBs bis zu 10 MB - konfigurierbar)

Sie können Streaming so konfigurieren, dass Änderungen aus ausgewählten Tabellen oder aus allen Tabellen in der Datenbank erfasst werden.

Das System verpackt jede Änderung in das gewünschte Format (Kafka-Nachricht, RabbitMQ-Nachricht, MongoDB-Dokument oder JSON-Datei) und liefert sie aus.

Technische Eigenschaften:

• Latenz: typischerweise 30 Sekunden (konfigurierbar von 5 bis 60 Sekunden)
• Durchsatz: getestet bis zu 10.000 Datensatzänderungen pro Sekunde
• Puffer: datenträgerbasiert, übersteht HQbird-Neustarts
• Keine Datenbankänderungen erforderlich (funktioniert mit bestehenden Firebird 4.0+ Datenbanken)

Warum ist es nützlich?

Streaming bietet eine effiziente Möglichkeit, Änderungen zu erfassen. Es gibt zwei Hauptanwendungsfälle: ereignisgesteuerte Benachrichtigungen und Datenreplikation an externe Systeme.

Benachrichtigungen erhalten

Beispiel: Terminbuchungssystem im Gesundheitswesen

Wenn das System einen Patiententermin erstellt oder ändert, muss es den Arzt per Push-Benachrichtigung informieren, dem Patienten eine SMS senden und den Google-Kalender aktualisieren.

Der traditionelle Ansatz erfordert periodische SELECT-Abfragen von jedem Dienst - SMS-Versender, Google-Integration und der Anwendung. Dies erzeugt mehrere Probleme:

• Alle Dienste benötigen SQL-Verbindungen zur Datenbank
• Häufige Abfragen erzeugen unnötige Datenbanklast (ein bekanntes Firebird-Anti-Pattern)
• Zusätzlicher Entwicklungsaufwand zum Erstellen und Pflegen von SQL-Abfragen
• Enge Kopplung zwischen Diensten und Datenbank

Mit Streaming erzeugt jede Änderung in der Tabelle APPOINTMENTS eine Nachricht, die an Kafka gesendet wird. Alle Mikrodienste abonnieren diese Nachrichten und erhalten Benachrichtigungen automatisch. Dieser Ansatz:

• Benötigt nur eine Datenbankverbindung
• Eliminiert Polling-Abfragen
• Reduziert die Datenbanklast
• Entkoppelt Dienste von der Datenbank
• Liefert Benachrichtigungen in weniger als einer Minute

Replikation von Änderungen an externe Systeme

Beispiel: Cloud-Business-Intelligence-Systeme

Wenn Sie Cloud-BI-Systeme wie Snowflake oder BigQuery verwenden, stellen regelmäßige vollständige Datencxporte eine finanzielle Belastung dar. Das Ausführen von SQL-Abfragen zum Exportieren großer Datenmengen und deren anschließende Verarbeitung durch ETL-Pipelines erfordert hohe Bandbreite und Rechenleistung. Dieser Ansatz lässt Ihre Analysedaten außerdem Stunden oder Tage veralten.

Mit Streaming senden Sie nur die tatsächlichen Änderungen an das externe System. Anstatt täglich Millionen von Datensätzen zu exportieren, streamen Sie nur die Tausende von Datensätzen, die sich tatsächlich geändert haben. Dieser Ansatz:

• Reduziert die Datenübertragung um 99 % oder mehr
• Aktualisiert externe Systeme mit sehr geringer Verzögerung (typischerweise weniger als eine Minute)
• Reduziert die Cloud-Verarbeitungskosten erheblich
• Minimiert Bandbreitenanforderungen
• Eliminiert Auswirkungen auf die Datenbankleistung

Lizenzierung

Streaming ist in den HQbird-Lizenzen (pro Server, unbegrenztes Abonnement und Unternehmenssupport) enthalten. Die Funktion wird lizenzierten Kunden auf Anfrage bereitgestellt.

Implementierungsunterstützung

IBSurgeon bietet bis zum 31. Dezember 2025 kostenlose Implementierungsunterstützung für Streaming-Lösungen für HQbird-Lizenzinhaber und technische Supportkunden an. Dies umfasst:

• Architekturüberprüfung für Ihren Anwendungsfall
• Unterstützung bei der Plugin-Konfiguration
• Empfehlungen zur Leistungsoptimierung für Streaming
• Support bei der Fehlerbehebung

Kontaktieren Sie uns

Kontaktieren Sie IBSurgeon, um Streaming in Ihrer HQbird-Installation zu aktivieren

IBSurgeon kündigt die Veröffentlichung 1.6.2 der Streaming-Technologie in HQbird an

Streaming (auch bekannt als Change Data Capture oder CDC) ist eine Möglichkeit, Änderungen in der Datenbank ohne SELECT-Abfragen zu erfassen und Daten an externe Ziele zu senden.

HQbird enthält gebrauchsfertige Plugins zum Senden von Änderungen an Kafka, RabbitMQ, MongoDB oder einfache JSON-Dateien. Das Plugin-System ist erweiterbar - Sie können benutzerdefinierte Plugins für andere Ziele entwickeln.

Wie funktioniert es?

HQbird Streaming liest das Firebird-Transaktionsprotokoll, um Datenbankänderungen zu erfassen. Das System verarbeitet bestätigte Transaktionen und konvertiert jede Datensatzänderung in eine separate Nachricht.

Nach der Konfiguration des Streaming-Plugins erfasst es:

• INSERT - alle Spaltenwerte des neuen Datensatzes
• UPDATE - Primärschlüssel, alle Spalten sowohl der alten als auch der neuen Version des Datensatzes (einschließlich BLOBs bis zu 10 MB - konfigurierbar)
• DELETE - Primärschlüssel und alle alten Spaltenwerte (einschließlich BLOBs bis zu 10 MB)

Sie können Streaming so konfigurieren, dass Änderungen aus ausgewählten Tabellen oder aus allen Tabellen in der Datenbank erfasst werden.

Das System verpackt jede Änderung in das gewünschte Format (Kafka-Nachricht, RabbitMQ-Nachricht, MongoDB-Dokument oder JSON-Datei).

Technische Eigenschaften:

• Latenz: typischerweise 30 Sekunden (konfigurierbar von 5 bis 60 Sekunden)
• Durchsatz: getestet bis zu 10.000 Datensatzänderungen pro Sekunde
• Puffer: datenträgerbasiert, übersteht HQbird-Neustarts
• Keine Datenbankänderungen erforderlich (funktioniert mit bestehenden Firebird 4.0+ Datenbanken)

Warum ist es nützlich?

Streaming bietet eine effiziente Möglichkeit, Änderungen zu erfassen. Es gibt zwei Hauptanwendungsfälle: ereignisgesteuerte Benachrichtigungen und Datenreplikation an externe Systeme.

Benachrichtigungen erhalten

Beispiel: Terminbuchungssystem im Gesundheitswesen

Wenn das System einen Patiententermin erstellt oder ändert, muss es den Arzt per Push-Benachrichtigung informieren, dem Patienten eine SMS senden und den Google-Kalender aktualisieren.

Der traditionelle Ansatz erfordert periodische SELECT-Abfragen von jedem Dienst - SMS-Versender, Google-Integration und der Anwendung. Dies erzeugt mehrere Probleme:

• Alle Dienste benötigen SQL-Verbindungen zur Datenbank
• Häufige Abfragen erzeugen unnötige Datenbanklast (ein bekanntes Firebird-Anti-Pattern)
• Zusätzlicher Entwicklungsaufwand zum Erstellen und Pflegen von SQL-Abfragen
• Enge Kopplung zwischen Diensten und Datenbank

Mit Streaming erzeugt jede Änderung in der Tabelle APPOINTMENTS eine Nachricht, die an Kafka gesendet wird. Alle Mikrodienste abonnieren diese Nachrichten und erhalten Benachrichtigungen automatisch. Dieser Ansatz:

• Benötigt nur eine Datenbankverbindung
• Eliminiert Polling-Abfragen
• Reduziert die Datenbanklast
• Entkoppelt Dienste von der Datenbank
• Liefert Benachrichtigungen in weniger als einer Minute

Replikation von Änderungen an externe Systeme

Beispiel: Cloud-Business-Intelligence-Systeme

Wenn Sie Cloud-BI-Systeme wie Snowflake oder BigQuery verwenden, stellen regelmäßige vollständige Datencxporte eine finanzielle Belastung dar. Das Ausführen von SQL-Abfragen zum Exportieren großer Datenmengen und deren anschließende Verarbeitung durch ETL-Pipelines erfordert hohe Bandbreite und Rechenleistung. Dieser Ansatz lässt Ihre Analysedaten außerdem Stunden oder Tage veralten.

Mit Streaming senden Sie nur die tatsächlichen Änderungen an das externe System. Anstatt täglich Millionen von Datensätzen zu exportieren, streamen Sie nur die Tausende von Datensätzen, die sich tatsächlich geändert haben. Dieser Ansatz:

• Reduziert die Datenübertragung um 99 % oder mehr
• Aktualisiert externe Systeme mit sehr geringer Verzögerung (typischerweise weniger als eine Minute)
• Reduziert die Cloud-Verarbeitungskosten erheblich
• Minimiert Bandbreitenanforderungen
• Eliminiert Auswirkungen auf die Datenbankleistung

Lizenzierung

Streaming ist in den HQbird-Lizenzen (pro Server, unbegrenztes Abonnement und Unternehmenssupport) enthalten. Die Funktion wird lizenzierten Kunden auf Anfrage bereitgestellt.

Implementierungsunterstützung

IBSurgeon bietet bis zum 31. Dezember 2025 kostenlose Implementierungsunterstützung für Streaming-Lösungen für HQbird-Lizenzinhaber und Unternehmenssupportkunden an.

Dies umfasst:

• Architekturüberprüfung für Ihren Anwendungsfall
• Unterstützung bei der Plugin-Konfiguration
• Empfehlungen zur Leistungsoptimierung für Streaming
• Support bei der Fehlerbehebung

Kontaktieren Sie uns

Kontaktieren Sie IBSurgeon, um Streaming in Ihrer HQbird-Installation zu aktivieren.