Перейти к содержанию
ERITKOM
ОблакаНовость

Amazon Athena начала сохранять историю выполнения запросов в управляемых таблицах Iceberg

Первая системная таблица query_executions объединяет сведения о завершённых запросах. Хранение и чтение оплачиваются отдельно, а доступ к текстам SQL настраивает заказчик.

Серверные стойки NERSC на исторической фотографии 2011 года
Derrick Coetzee, источник, CC0. Серверные стойки NERSC, 2011 год; не инфраструктура AWS. Изменены размер и формат.

Историю сервиса можно анализировать обычным SQL

AWS 9 ноября объявила системные таблицы Amazon Athena для наблюдаемости, аудита и анализа использования. Первая из них, query_executions, собирает сведения о завершённых запросах из рабочих групп. Данные появляются в течение нескольких минут после окончания выполнения и хранятся в Amazon S3 Tables в формате Apache Iceberg. Включение функции является отдельным действием, а не обязательным изменением всех существующих аккаунтов.

Ранее сервис уже предоставлял сведения через GetQueryExecution, метрики CloudWatch и журналы CloudTrail. Новый формат дополняет эти способы: историю можно фильтровать, группировать и объединять непосредственно запросами к таблице. Команде не требуется самостоятельно строить отдельную цепочку выгрузки только ради такого анализа. Обслуживание структуры, разбиения, уплотнения и снимков берёт на себя сервис.

Одна строка связывает автора, время и результат

В техническом разборе AWS перечислены поля первой таблицы: идентификатор и текст запроса, время отправки, рабочая группа, каталог, база и использованные таблицы. Также сохраняются сведения о пользователе, времени планирования, ожидания и исполнения, объёме прочитанных данных и результате. Завершение может быть успешным, ошибочным или отменённым; только удачные запросы не дают полной картины нагрузки.

Такой набор позволяет отдельно искать рост времени ожидания, увеличение объёма сканирования или концентрацию ошибок у конкретной группы. Для распределения потребления между командами можно сопоставить пользователя, рабочую группу и период. Однако число прочитанных байтов само по себе не является готовым счётом: оценка использования и фактические правила оплаты представляют разные данные. Представленный инструмент даёт основу для отчёта, а не универсальную цену каждой операции.

История не является редактируемым журналом приложения

Руководство ограничивает область одним аккаунтом и одним регионом. Включение охватывает текущие и будущие рабочие группы в этой области; автоматического объединения разных регионов или аккаунтов не предусмотрено. Для чтения требуется интеграция S3 Tables с Glue Data Catalog. Другие совместимые с Iceberg движки могут обращаться к тому же открытому формату.

Поставленные строки неизменяемы. Когда функцию выключают, новые данные перестают поступать, но существующие таблицы сохраняются. После повторного включения промежуток отключения не заполняется задним числом. Это важно для отчётности: отсутствие записи за такой период нельзя автоматически трактовать как отсутствие запросов. Срок хранения задаётся через правила S3 Tables; без настройки истечения данные остаются сохранёнными, а не удаляются через подразумеваемый короткий срок.

Тексты запросов требуют собственной политики доступа

AWS отдельно отмечает, что SQL может содержать персональные сведения или внутреннюю логику компании. Сервис не маскирует такие значения и не выбирает за владельца, кому разрешено читать историю. Управление доступом поэтому остаётся самостоятельной частью внедрения, включая ограничение чувствительных столбцов или круга пользователей. Наличие управляемого хранения не делает содержание автоматически общедоступным или обезличенным.

Запись сведений в системные таблицы не тарифицируется Athena отдельно. Но сохраняются стандартные платежи за хранение и обслуживание S3 Tables и за запросы чтения; у сторонних движков действуют собственные условия. Объявленная доступность относится к регионам, где присутствуют одновременно Athena и S3 Tables. Проверка бюджета должна учитывать объём сохраняемой истории и частоту отчётов, а не только бесплатную доставку записей.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача