IBSurgeon оголошує про випуск версії 1.6.2 потокової технології в HQbird

IBSurgeon оголошує про випуск 1.6.2 технології стрімінгу в HQbird

Португальська версія нижче.

Стрімінг (також відомий як зміна захоплення даних) - це спосіб захоплення змін у базі даних без SELECT-запитів і надсилання даних до зовнішніх призначень. HQbird включає готові до використання плагіни для надсилання змін до Kafka, RabbitMQ, MongoDB або простих JSON-файлів. Система плагінів розширювана - ви можете розробляти власні плагіни для інших цілей.

Як це працює?

HQbird Streaming читає журнал реплікації Firebird для захоплення змін у базі даних. Система обробляє зафіксовані транзакції та перетворює кожну зміну запису на окреме повідомлення. Після налаштування плагіна стрімінгу він захоплює:

INSERT - усі значення колонок нового запису
UPDATE - первинний ключ, усі колонки як старої, так і нової версій запису (включно з BLOB-ами до 10MB)
DELETE - первинний ключ та всі старі значення колонок (включно з BLOB-ами до 10MB - налаштовується)

Ви можете налаштувати стрімінг для захоплення змін із вибраних таблиць або з усіх таблиць у базі даних.

Система пакує кожну зміну в потрібний формат (повідомлення Kafka, повідомлення RabbitMQ, документ MongoDB або JSON-файл) і доставляє його.

Технічні характеристики:

Затримка: зазвичай 30 секунд (налаштовується від 5 до 60 секунд)
Пропускна здатність: протестовано до 10 000 змін записів на секунду
Буфер: на основі диска, переживає перезапуски HQbird
Не потрібні модифікації бази даних (працює з існуючими базами даних Firebird 4.0+)

Чому це корисно?

Стрімінг забезпечує ефективний спосіб захоплення змін. Є два основні випадки використання: подієві сповіщення та реплікація даних у зовнішні системи.

Отримання сповіщень

Приклад: Система запису на прийом до лікаря

Коли система створює або змінює запис пацієнта на прийом, їй потрібно надіслати лікарю push-сповіщення, відправити SMS пацієнту та оновити Google Calendar.

Традиційний підхід вимагає періодичних SELECT-запитів від кожного сервісу - відправника SMS, інтеграції з Google та застосунку. Це створює кілька проблем:

Усі сервіси потребують SQL-з’єднань із базою даних
Часті запити створюють непотрібне навантаження на базу даних (відомий антипатерн Firebird)
Додаткові зусилля для розробки та підтримки SQL-запитів
Тісний зв’язок між сервісами та базою даних

Зі стрімінгом кожна зміна в таблиці APPOINTMENTS генерує повідомлення, надіслане до Kafka. Усі мікросервіси підписуються на ці повідомлення та отримують сповіщення автоматично. Цей підхід:

Вимагає лише одного з’єднання з базою даних
Усуває опитувальні запити
Зменшує навантаження на базу даних
Розділяє сервіси та базу даних
Доставляє сповіщення менш ніж за хвилину

Реплікація змін у зовнішні системи

Приклад: Хмарні системи бізнес-аналітики

Якщо ви використовуєте хмарні BI-системи, як-от Snowflake або BigQuery, регулярні повні експорти даних створюють фінансовий тягар. Виконання SQL-запитів для експорту великих обсягів даних і подальша їх обробка через ETL-конвеєри потребує високої пропускної здатності та обчислювальної потужності. Цей підхід також залишає ваші аналітичні дані застарілими на години або дні.

Зі стрімінгом ви надсилаєте лише фактичні зміни до зовнішньої системи. Замість експорту мільйонів записів щодня ви передаєте лише тисячі записів, які фактично змінилися. Цей підхід:

Зменшує передачу даних на 99% або більше
Оновлює зовнішні системи з дуже малою затримкою (зазвичай менше однієї хвилини)
Значно зменшує витрати на хмарну обробку
Мінімізує вимоги до пропускної здатності
Усуває вплив на продуктивність бази даних

Ліцензування

Стрімінг включено в ліцензії HQbird (на сервер, безлімітна підписка та корпоративна підтримка). Функція надається за запитом ліцензованим клієнтам.

Підтримка впровадження

IBSurgeon пропонує безкоштовну підтримку впровадження стрімінгових рішень для власників ліцензій HQbird та клієнтів технічної підтримки до 31 грудня 2025 року. Це включає:

Огляд архітектури для вашого випадку використання
Допомогу з налаштуванням плагінів
Рекомендації з налаштування продуктивності для стрімінгу
Підтримку з усунення несправностей

Зв’яжіться з нами

Зв’яжіться з IBSurgeon, щоб увімкнути стрімінг у вашій інсталяції HQbird

IBSurgeon оголошує про випуск 1.6.2 технології стрімінгу в HQbird

Стрімінг (також відомий як зміна захоплення даних або CDC) - це спосіб захоплення змін у базі даних без SELECT-запитів і надсилання даних до зовнішніх призначень.

HQbird включає готові до використання плагіни для надсилання змін до Kafka, RabbitMQ, MongoDB або простих JSON-файлів. Система плагінів розширювана - ви можете розробляти власні плагіни для інших цілей.

Як це працює?

HQbird Streaming читає журнал транзакцій Firebird для захоплення змін у базі даних. Система обробляє підтверджені транзакції та перетворює кожну зміну запису на окреме повідомлення.

Після налаштування плагіна стрімінгу він захоплює:

INSERT - усі значення колонок нового запису
UPDATE - первинний ключ, усі колонки як старої, так і нової версій запису (включно з BLOB-ами до 10MB - налаштовується)
DELETE - первинний ключ та всі старі значення колонок (включно з BLOB-ами до 10MB)

Ви можете налаштувати стрімінг для захоплення змін із вибраних таблиць або з усіх таблиць у базі даних.

Система пакує кожну зміну в потрібний формат (повідомлення Kafka, повідомлення RabbitMQ, документ MongoDB або JSON-файл).

Технічні характеристики:

Затримка: зазвичай 30 секунд (налаштовується від 5 до 60 секунд)
Пропускна здатність: протестовано до 10 000 змін записів на секунду
Буфер: на основі диска, переживає перезапуски HQbird
Не потрібні модифікації бази даних (працює з існуючими базами даних Firebird 4.0+)

Чому це корисно?

Отримання сповіщень

Приклад: Система запису на прийом до лікаря

Усі сервіси потребують SQL-з’єднань із базою даних
Часті запити створюють непотрібне навантаження на базу даних (відомий антипатерн Firebird)
Додаткові зусилля для розробки та підтримки SQL-запитів
Тісний зв’язок між сервісами та базою даних

Вимагає лише одного з’єднання з базою даних
Усуває опитувальні запити
Зменшує навантаження на базу даних
Розділяє сервіси та базу даних
Доставляє сповіщення менш ніж за хвилину

Реплікація змін у зовнішні системи

Приклад: Хмарні системи бізнес-аналітики

Зменшує передачу даних на 99% або більше
Оновлює зовнішні системи з дуже невеликою затримкою (зазвичай менше хвилини)
Значно знижує витрати на обробку в хмарі
Мінімізує вимоги до пропускної здатності
Усуває вплив на продуктивність бази даних

Ліцензування

Стрімінг включено до ліцензій HQbird (за сервер, безлімітна підписка та корпоративна підтримка). Функція надається за запитом ліцензованим клієнтам.

Підтримка впровадження

IBSurgeon пропонує безкоштовну підтримку впровадження рішень для стрімінгу власникам ліцензій HQbird та клієнтам корпоративної підтримки до 31 грудня 2025 року.

Це включає:

Перегляд архітектури для вашого випадку використання
Допомогу в налаштуванні плагінів
Рекомендації з налаштування продуктивності стрімінгу
Підтримку у вирішенні проблем

Зв’яжіться з нами

Зв’яжіться з IBSurgeon, щоб увімкнути стрімінг у вашій інсталяції HQbird.