Много серверов в одной консоли

HQCenter — один сервер Linux у клиента, к которому подключаются все его агенты. Агенты сами отправляют туда данные и сами забирают настройки, команды, лицензии и новые версии. Администратор видит весь парк в HQ Monitor и управляет им из браузера.

  • 0 входящих портов для связи с центром
  • mTLS сертификат у каждого агента
  • 3 мин данные приходят в центр
  • ~1 мин настройки доходят до агента
  • с откатом обновления агентов и центра

Редактор настроек · Run now · статус доставки

Настройки из центра

В центре лежит копия настроек каждого агента. Администратор меняет задания и настройки в том же редакторе, что и рядом с агентом, и нажимает Save and Send to agent. Агент забирает изменение примерно через минуту.

Агент не пишет новые настройки поверх рабочих. Он сначала проверяет кандидата. Плохой кандидат откладывается, рабочие настройки остаются, а консоль показывает причину отказа.

Статусы доставки настроек: ОТПРАВЛЕНО (лежит в центре), ЗАБРАНО, затем ПРИМЕНЕНО, УЖЕ БЫЛО, НУЖЕН ПЕРЕЗАПУСК или ОТКЛОНЕНО; ЗАМЕЩЕНО и НЕТ ОТВЕТА
    Время в журнале — пример. ОТПРАВЛЕНО значит: изменение лежит в центре, агент его ещё не забрал. НЕТ ОТВЕТА появляется, если агент 10 минут ничего не сказал об изменении (по умолчанию). В английском интерфейсе метки: SENT, TAKEN, APPLIED, ALREADY SET, RESTART NEEDED, REJECTED, SUPERSEDED, DRIFT.

    Статус на странице серверов

    Для каждого сервера видно, как далеко прошло последнее изменение: значок статуса, время отправки (push) и время ответа агента (ack). Подсказка у значка показывает причину отказа агента и точное время.

    Так за минуту видно, какие серверы приняли новое задание бэкапа, а какие нет и почему.

    Уровень сервера в списке — это вывод агента о сервере целиком. Под значками стоит одна строка с главной находкой. Отдельный значок «Agent» появляется, только когда состояние самого агента хуже состояния сервера.

    Сервер, который молчит больше 30 минут, получает серый значок «нет данных с …» и уходит в конец списка. Строка итога над списком считает серверы по уровням.

    Статус доставки. Английский интерфейс. APPLIED (ПРИМЕНЕНО) — агент применил; REJECTED (ОТКЛОНЕНО) — отказал, причина в подсказке.
    Редактор в центре. Копия настроек агента. Можно сохранить черновик или сразу отправить агенту.
    Работа агента издалека. Вкладка Activity: сколько раз шла каждая задача, сколько времени, CPU и памяти она взяла.

    Агент бережёт сервер

    Агент следит за своей памятью и CPU. Если задача агента берёт слишком много, агент ставит её на паузу, а запуск, который держит память, останавливает. Бэкапы и отправку данных он не трогает. Если память агента всё равно растёт, агент перезапускается сам. Задача, которую агент выключил, видна в отчёте о здоровье и в редакторе; включить её снова можно одной кнопкой.

    Run now из центра

    Бэкап, восстановление, sweep, проверку gfix или пересчёт индексов можно запустить сейчас, не дожидаясь расписания. Запрос идёт тем же путём: в goafts, затем агент забирает его при опросе и ставит в свою очередь, с обычными проверками.

    pendingdeliveredqueuedwaitingrunningdonefailedrefusedexpiredcancelled
    • ЧерновикиИзменение можно сохранить в консоли и отправить позже. Видно состояние: not sent, sent, applied, superseded.
    • Пароли не видны в центреКонсоль шифрует новый пароль открытым ключом агента. Расшифровать его может только агент на своём сервере.
    • Копии настроекПеред каждой заменой агент сохраняет копию: 10 последних, не меньше 14 дней. Отклонённые кандидаты хранятся 90 дней.
    • Только на сервереПроверку подписи релизов, лицензию, удалённые команды, пути программ и вход в консоль нельзя изменить из центра.
    • Замена базы — с двух сторонВосстановление с заменой рабочей базы удалённо работает, только если это разрешено на самом сервере и у пользователя есть отдельное право. Перед запуском нужно ввести имя файла базы.
    • databases.conf из центраФайл можно отправить одному агенту. goafts его только передаёт; проверяет и пишет файл агент, старый сохраняется рядом.

    Подпись · точка отката · проверка

    Обновления с откатом

    Агенты берут новые версии у HQCenter, а не из интернета. Агент обновляет себя, HQ Monitor, программы кластера и Firebird. Каждое обновление идёт по одной схеме: проверить подпись, сохранить точку отката, поставить, проверить, что работает. Не работает — вернуть старое.

    1. 1Подписьрелиз подписан IBSurgeon
    2. 2Точка откатакопия текущей версии
    3. 3Установказамена файлов
    4. 4Проверкановая версия сама говорит «я работаю» и живёт 45 с
    5. 5Готовоновая версия работает
    1. ↺Откатвернуть копию из точки отката
    2. ✓Старая версия работаетпосле 2 откатов версия блокируется
    откатов этой версии: 0 из 2
    Нажмите «Запустить обновление».
    Что обновляетсяКогдаЗащита
    Агентсразу, когда ответ на опрос настроек сообщает новую версию, и раз в час; без такого ответа раз в 180 сПодпись, 2 точки отката. Новая версия должна сама сообщить «я работаю» и проработать 45 с. После 2 откатов версия блокируется.
    HQ Monitorраз в час, пока опрос настроек работает; иначе раз в 180 сПроверка работы консоли 30 с, копия старой версии.
    Программы кластерапроверка раз в 180 сСначала реплика, потом мастер.
    Firebirdтолько в окне, по умолчанию 03:30–04:00Ждёт конца бэкапов. Проверка после установки, при сбое откат. Откаченная сборка больше не ставится.
    HQCenterраз в 15 мин, если IBSurgeon включил обновление для этого центра; в окне, которое задаёт IBSurgeon, например 02:00–05:00По умолчанию выключено. Владелец центра может запретить обновление: STACK_UPDATE=off. Проверка подписи набора, затем до 5 минут проверки служб. Не прошли — ставится прошлый набор из кэша.
    • Сначала тест, потом всеIBSurgeon публикует релиз сначала в тестовой зоне, после проверки — в рабочих. HQCenter раз в час копирует релизы своей зоны.
    • Подпись дваждыЦентр проверяет подпись до скачивания и ещё раз по записанным байтам. Агент проверяет её снова перед установкой.
    • Не внизВерсию ниже текущей поставить нельзя, если это не разрешено на самом сервере.
    • На Linux файлы меняет rootСлужба агента работает не от root и не может подменить доверенные файлы установки.

    Наблюдение за статусом · почта · webhook

    Письма о проблемах и недельный отчёт

    HQCenter читает снимок состояния каждого агента. Новая проблема или проблема, ставшая серьёзнее, — это событие. Письмо или webhook отправляет сам центр. Раз в неделю центр готовит отчёт по всему парку.

    Центр сам ничего не меняет. Если проблема висит неделями и это норма для сервера, центр предлагает новый порог. Применяет его только человек.

    1. 1Чтение статусакаждые 2 минуты, если файл агента изменился
    2. 2Событиеновая, стала серьёзнее, ушла, вернулась
    3. 3Письмоили webhook; повтор за 24 ч не шлётся
    4. 4Недельный отчётпо умолчанию в понедельник в 07:00
    5. 5✓ Предложениеновый порог; применяет администратор
    Отчёт

    Весь парк за 14 дней

    Для каждого сервера: доля времени без проблем, сколько эпизодов в неделю и какие находки «застряли».

    Застрявшая находка

    Не шум, а норма

    Активна не меньше половины времени и одной полосой не меньше недели. Например, CPU сервера всегда около порога.

    Предложение

    Порог по факту

    Чуть дальше того, что показал сервер: на четверть выше максимума. Для нижнего порога, например свободного места, — на пятую часть ниже минимума. Можно изменить перед одобрением; действует 30 дней.

    • Один хост — одно письмоЕсли на хосте несколько агентов, проблема с CPU, памятью или диском хоста считается один раз.
    • Ушла или скрытаСобытие говорит, почему проблема ушла: исправлена, признана администратором или стала info.
    • Одобрение — это новая версия настроекПорог уходит агенту обычной доставкой, от имени администратора. Каждое одобрение и отказ в журнале аудита.
    • Ссылка в письмеПисьмо называет хост, даёт подсказку и ссылку на сервер в HQ Monitor.

    Почту и webhook включает администратор центра. Пока они не настроены, письма не уходят. События и отчёты видны в панели центра и в его API.

    Пользователи · права · аудит · языки

    Пользователи и права

    Каждый пользователь видит только свои серверы. Права на изменения выдаются отдельно, по одному.

    Администратор видит все серверы и управляет пользователями. Обычный пользователь видит серверы из своего списка. Новое право или новый список действуют со следующей загрузки страницы; новый пароль выводит пользователя из всех браузеров.

    Новый пользователь. Тип, три права и список серверов.
    ПравоЧто разрешает
    Отправлять настройкиОтправить изменённые настройки агенту через центр.
    Запускать заданияЗапустить и отменить бэкап, восстановление, sweep или пересчёт индексов (Run now).
    Задания с заменой базыЗапустить восстановление, которое заменяет рабочую базу. Только вместе с правом запуска, и только если агент тоже это разрешает.
    • Журнал аудитаКаждое сохранение, отправка, смена пароля и запуск задания пишется с логином пользователя. В goafts журнал защищён цепочкой хешей.
    • Журнал запросов агентаАгент сам пишет строку на каждый запрос, который меняет сервер, и на каждый отказ в доступе: Local API, команды из центра, Run now, смена настроек, обновления. Пароли и тела запросов в журнал не попадают. Файл уходит в центр вместе с логами.
    • Вход в HQ MonitorСессия 7 дней. С одного адреса не больше 8 попыток входа за 15 минут.
    • Панель администратора центраОтдельный вход, только с сертификатом администратора. Сессия 8 часов. После 5 неудачных попыток за 15 минут вход закрыт на 15 минут.
    • До 2000 пользователейУ каждого свой пароль и свой список серверов; поиск по серверам при назначении.
    • 5 языков интерфейсаEnglish, русский, Deutsch, português (Brasil), español. Отчёты статистики тоже на выбранном языке.

    ← Вернуться к обзору HQbird 2027 · Состояние сервера за минуту →