Перейти к содержанию
ERITKOM
ОблакаНовость

MSK Replicator появился в двух GovCloud-регионах: резервная Kafka остаётся асинхронной

Расширение доступности касается AWS GovCloud US-East и US-West. Выбор начального offset и задержка репликации по-прежнему влияют на восстановление.

Серверные стойки NERSC на исторической фотографии 2011 года
Derrick Coetzee, NERSC, 2011, CC0. Не инфраструктура AWS. Изменены размер и формат.

Новая доступность управляемой репликации

Amazon 6 ноября сообщила о доступности MSK Replicator в AWS GovCloud (US-East) и AWS GovCloud (US-West). Инструмент переносит потоковые данные между кластерами Kafka, а также поддерживает копирование из внешних кластеров в MSK Provisioned. Внешний источник может находиться в собственной инфраструктуре, на AWS или у другого облачного провайдера.

Новость касается географии уже существующей возможности, а не появления нового протокола Kafka. Управляемая репликация снимает необходимость содержать отдельную самодельную инфраструктуру копирования. Однако целевой кластер и приложения вокруг него остаются самостоятельными частями системы. Возможность создать копию данных не означает, что клиентские подключения и обработчики событий уже автоматически переключены на резервную площадку.

Что переезжает вместе с сообщениями

Согласно руководству, Replicator копирует не только записи, но и необходимые метаданные Kafka: конфигурацию топиков, списки контроля доступа и смещения потребительских групп. Это помогает продолжать обработку на другом кластере с понятной отправной точки. При репликации между кластерами MSK оба должны находиться в одном аккаунте AWS; сами исходный и целевой кластеры создаются заранее.

Поддерживаются варианты внутри одного региона и между регионами. Первый подходит для локального разделения потоков, второй — для географического резервирования. Эти схемы решают разные задачи: две копии внутри одной области размещения нельзя без дополнительных оснований считать защитой от отказа всей области. Перед выбором схемы нужно определить, от какого именно сбоя должна сохраняться работоспособность приложения.

Начальный offset определяет полноту копии

Техническое описание подчёркивает асинхронный характер работы. По умолчанию копирование начинается с последнего смещения исходного топика. Для переноса уже существующих сообщений при создании Replicator выбирают начало с самого раннего offset. Это существенное различие между резервированием будущего потока и первоначальной загрузкой истории.

Если включено обнаружение новых топиков и разделов, их создание на принимающей стороне может занимать до 30 секунд. Сообщения, появившиеся до создания соответствующего целевого топика, при стандартном старте с последнего offset не копируются. Поэтому включённое автоматическое обнаружение не следует читать как гарантию переноса каждого ранее записанного события. Выбранная точка старта должна соответствовать задаче миграции или резервирования, а не оставаться незамеченной настройкой по умолчанию.

Что означает готовность к переключению

Ресурсы репликации размещаются в регионе назначения. Задержка зависит от расстояния между регионами, пропускной способности кластеров и количества разделов; масштабирование управляемой части не отменяет эти факторы. Данные передаются с шифрованием, проходят через буфер в памяти и записываются в целевой кластер. Сам Replicator не является отдельным долговременным хранилищем потока.

Из этого следует практическое ограничение: асинхронную копию нельзя приравнивать к синхронному подтверждению записи на двух площадках. План восстановления должен учитывать отставание и порядок переключения потребителей. Региональный запуск даёт пользователям GovCloud ещё один инструмент построения такой схемы, но не задаёт универсальные нулевые потери или одинаковое время восстановления для любых нагрузок. Эти параметры определяются конкретной конфигурацией и проверкой сценария отказа.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача