Amazon S3 добавил исключения из репликации и подбор ключей KMS в регионе назначения
Один фильтр может пропустить журналы и экспериментальные данные при копировании бакета. Для зашифрованных объектов S3 умеет подобрать связанный ключ в регионе, где хранится копия.

Зачем бакету правила с исключениями
18 ноября Amazon Web Services представила два изменения в репликации объектов Amazon S3. Правила получили фильтры исключения, а в настройках копирования зашифрованных объектов появился автоматический подбор соответствующего ключа AWS Key Management Service в регионе назначения. Обе возможности включаются по выбору владельца бакета. AWS объявила об их доступности во всех собственных регионах.
Репликация в S3 асинхронно копирует объекты между бакетами. Это позволяет держать отдельную копию в другом месте, но состав такой копии часто отличается от состава исходного бакета. Например, в одном бакете могут лежать документы пользователей и объёмные журналы тестирования. Для документов нужна дополнительная копия, а журналы можно хранить только там, где их создали. Одним правилом теперь можно охватить документы и остальные рабочие данные, исключив тестовую ветку по префиксу ключа объекта или пометив отдельные объекты тегом.
Как новый фильтр сочетается с прежними правилами
Префикс в S3 относится к началу имени объекта. Им удобно описать целую группу, например путь с временными выгрузками. Тег позволяет пометить объект независимо от того, где он лежит. В описании изменений SDK AWS показывает фильтр исключения внутри составного правила. Это полезно, если репликация касается одной части бакета, внутри которой лежит отдельный набор материалов, не нужный в копии.
Исключение действует внутри конкретного правила. Когда на объект распространяются несколько правил, AWS рекомендует учитывать их приоритет при проверке результата. Поэтому перед заменой набора правил полезно взять примеры из разных групп: объект с обычным именем, объект с исключённым префиксом и объект с исключающим тегом. Отдельный пример нужен для случая, когда прежнее правило тоже подходит под условия.
Как S3 выбирает ключ в другом регионе
Второе изменение рассчитано на связанные многорегиональные ключи AWS KMS. S3 проверяет, каким ключом защищён исходный объект, и шифрует его копию соответствующим ключом в регионе назначения. В общем бакете разные приложения могут пользоваться разными многорегиональными ключами. При таком устройстве отпадает необходимость прописывать для каждого приложения отдельное правило исключительно ради выбора его ключа.
Соответствующий ключ в целевом регионе должен существовать, а роль репликации должна обладать правами на работу с нужными ключами. AWS документирует обычную настройку репликации для объектов с шифрованием KMS отдельно. Фильтры, выбор ключа и разрешения решают разные задачи: сначала определяется, нужен ли объект в копии, затем — какой ключ использовать, и только при наличии доступа сервис может выполнить операцию.
Что проверить при обновлении конфигурации
Нововведения прежде всего влияют на настройку продолжающейся репликации. Если нужно перенести старые объекты, у AWS есть отдельный механизм S3 Batch Replication. Перед изменением правил стоит сверить, включено ли версионирование на исходном и целевом бакетах, а после пробной записи подтвердить фактическое появление подходящего объекта в бакете назначения и его ключ шифрования. Для исключённого объекта важно проверить обратное на той же тестовой группе.
AWS указывает, что за сами исключения и механизм выбора ключа дополнительной платы нет. В зависимости от конфигурации сохраняются обычные начисления за хранилище, запросы репликации и передачу между регионами. Поэтому расчёт после изменения правил зависит от количества и объёма объектов, которые реально будут копироваться.


