Перейти к содержанию
ERITKOM
ОблакаНовость

AWS Flink отделил снимки состояния от приложения: перенос требует экспорта и проверки совместимости

Enhanced snapshots доступны для Flink 1.20 и новее, но не включаются автоматически. Новая модель упрощает blue/green-развёртывание; импортированный savepoint всё равно требует подходящей версии и прав доступа.

Внутренние компоненты сервера Dell на фотографии 2013 года, архивная тематическая иллюстрация, не инфраструктура AWS Flink
arichnad, Inside of webserver, 16.03.2013, CC BY-SA 4.0. Архивное тематическое фото сервера Dell, не инфраструктура AWS и не снимок состояния приложения. Изменены размер и JPEG→WebP; производная копия сохраняет ту же лицензию.

Новый ресурс для состояния, а не копия всей инфраструктуры

Amazon 12 ноября добавила enhanced snapshots в Managed Service for Apache Flink. Они позволяют сохранить состояние потокового приложения отдельно от его текущего экземпляра, подготовить параллельное blue/green-развёртывание или перенести состояние из самостоятельно управляемого Flink. В анонсе также описано восстановление в другом регионе через экспорт в S3 и репликацию полученных файлов, а не непосредственное использование чужого регионального ARN.

Доступность заявлена для Flink 1.20 и новее в регионах сервиса, кроме European Sovereign Cloud в Германии. Документация отдельно исключает AWS Top Secret Cloud. Это не обещание универсального образа всей системы: речь идёт о состоянии приложения в формате Flink savepoint. Сетевое окружение, разрешения и совместимость целевого приложения остаются отдельными условиями восстановления.

Жизненный цикл снимка больше не привязан к приложению

Согласно руководству AWS, enhanced snapshot принадлежит аккаунту и имеет собственные ARN, теги и IAM-права. Он остаётся после остановки, обновления и даже удаления создавшего его приложения. Автоматического удаления по расписанию нет; хранение нужно учитывать отдельно. Плата за готовый снимок также не исчезает вместе с удалённым приложением.

Новые приложения по умолчанию сохраняют режим APPLICATION_SNAPSHOTS_LEGACY: для перехода требуется явно выбрать ENHANCED_SNAPSHOTS. Операции создания и импорта асинхронны, поэтому принятие запроса не равно готовности состояния. Снимок проходит через CREATING к READY либо FAILED. Ошибка экспорта при этом может оставить сам снимок в READY: отслеживать следует и состояние ресурса, и отдельную операцию. Отсутствие немедленного исключения ещё не подтверждает пригодность результата.

Перенос через S3 имеет собственные требования

При импорте и экспорте bucket должен находиться в том же аккаунте и регионе, что и обрабатываемый enhanced snapshot. Для межрегионального сценария сначала экспортируют файлы в локальный S3, затем организуют их перенос в другой регион и импортируют уже там. Это последовательность разных операций с отдельными разрешениями, а не снятие региональных границ сервиса.

Импорт принимает переносимый savepoint в canonical-формате, но не автоматический checkpoint или backend-зависимый native-формат. Исходный префикс должен содержать файл _metadata, а объекты — полные контрольные суммы CRC64NVME. Менять или удалять файлы во время импорта нельзя. Руководство также предупреждает о частично записанных объектах после неудачного экспорта: неуспех операции не означает, что bucket остался пустым. Для обмена с S3 сервис принимает отдельную IAM-роль с политиками доверия и доступа; вызывающему нужны iam:PassRole и разрешение соответствующей операции над снимком. Права на ключи шифрования также проверяются независимо от самого имени bucket.

Готовый снимок ещё должен подходить целевому приложению

Инструкция восстановления требует READY, enhanced-режим приложения и снимок из того же аккаунта и региона. Для чужого приложения задаётся конкретный SnapshotArn. Операторские UID целевого задания должны соответствовать исходным, а вызывающей стороне нужны права на восстановление снимка и запуск приложения. При пользовательском ключе шифрования добавляются требования KMS; одного права читать приложение недостаточно.

Особенно важно различать проверку обычного и импортированного снимка. Для импортированного состояния сервис не сверяет версию Flink с целевым runtime. Восстановление в более старую версию может привести к потере или повреждению данных. Режим выбора последнего снимка тоже не ищет любой доступный ресурс: он учитывает снимки того же приложения, а импортированные выбираются явно. Поэтому новая переносимость не заменяет проверку восстановленного состояния на подходящей конфигурации.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача