Перейти к содержанию
ERITKOM
ОблакаНовость

AWS Glue разрешила внешним Iceberg-каталогам выдавать временный доступ к данным

Новый режим использует ограниченные ключи внешнего каталога для чтения файлов в S3. Доступ к метаданным, файлам и отдельным строкам таблицы остаётся разными уровнями.

Исторический снимок серверного помещения CERN как тематическая иллюстрация облачных данных
Florian Hirzinger, CERN, 2009, CC BY-SA 3.0, включая WebP. Тематическое фото, не AWS или Databricks. Изменены размер и формат.

Ключи может выдавать источник каталога

AWS 6 ноября добавила в федерацию AWS Glue Data Catalog с внешними Iceberg REST-каталогами поддержку временных учётных данных, выдаваемых самим внешним каталогом. Они ограничиваются соответствующим префиксом хранилища Amazon S3. Новый вариант дополняет существующую схему, при которой доступ к S3 обеспечивала настроенная IAM-роль, а не отменяет её для всех пользователей.

Среди аналитических систем AWS называет Athena, EMR, Redshift и Glue. Выдача учётных данных опирается на предоставленные во внешнем каталоге табличные разрешения. Поэтому само подключение к API каталога не означает права прочитать любой файл в бакете. Временный доступ касается определённых данных и должен соответствовать разрешениям источника, а не превращаться в постоянный универсальный ключ.

Метаданные и файлы проходят разными путями

Документация федерации объясняет последовательность запроса. Glue обращается к удалённому каталогу за актуальными сведениями о таблице: местоположением в S3, схемой и разбиением на разделы. Затем аналитический движок использует эту информацию для непосредственного чтения файлов из объектного хранилища. Каталог сообщает, что читать, но сам не обязан передавать через себя весь набор данных.

Lake Formation управляет разрешениями на федеративные таблицы и может применять более узкие ограничения, включая строки и столбцы. Документация также описывает совместное использование между аккаунтами и управление через теги. Эти уровни дополняют табличный доступ источника: разрешение увидеть таблицу не обязано давать одинаковый вид каждой строки всем сотрудникам. Объявление функции не заменяет проверку фактически настроенных политик.

На примере Databricks видны две модели доступа

Руководство по интеграции с Databricks Unity Catalog отдельно различает source-vended и aws-vended режимы. В первом временные S3-учётные данные на таблицу выдаёт Databricks, а Lake Formation передаёт их аналитическому движку. Во втором используются полномочия зарегистрированной роли AWS. Следовательно, новый режим меняет источник делегированных полномочий, а не формат самих файлов Iceberg.

Для чтения метаданных Databricks применяется отдельная аутентификация сервисного принципала, в том числе OAuth2. Права этого принципала тоже должны быть настроены у источника. Руководство уточняет, что федерация читает именно метаданные Iceberg; для Delta-таблиц требуется их предоставление через Uniform. Название подключения не делает произвольную таблицу совместимой с Iceberg без соответствующего представления метаданных и поддерживаемого пути доступа.

Что остаётся проверить при подключении

Федерация поддерживает обычное HTTPS-соединение, варианты сетевой изоляции через VPC и прокси. При этом документация указывает предел метаданных в 5 МБ на REST-вызов: превышающие его запросы к таблицам отклоняются. Это ограничение служебной информации, а не максимальный объём аналитической таблицы или всего бакета с данными.

AWS объявила возможность для коммерческих регионов, поддерживающих Glue и Lake Formation. Для действующего подключения практическая проверка включает выбранный режим делегирования, права на обнаружение таблицы, получение временных полномочий и итоговый набор видимых данных. Такой перечень следует из разделения механизмов в документации, но не является сообщением о проведённом нами аудите чужой системы. Постоянные ключи, пароли или реальные данные клиентов для иллюстрации этого обновления не публикуются.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача