Перейти к содержанию
ERITKOM
ОблакаНовость

Bigtable добавил управление схемами Avro через консоль и Bigtable Studio

Новый интерфейс пока находится в Preview. Возможность SQL-запросов к Avro-записям появилась раньше и не означает автоматической совместимости разных схем.

Историческое фото серверного зала CERN, не инфраструктура Bigtable
Florian Hirzinger, CERN, 2009, CC BY-SA3.0. Тематическое историческое фото, не инфраструктура Google. Изменены размер и формат; WebP под той же лицензией.

Ноябрьское изменение касается интерфейса управления

В журнале Bigtable за 9 ноября Google сообщила о возможности создавать и обслуживать наборы схем Apache Avro в облачной консоли, а определения просматривать в Bigtable Studio. Функция находится в Preview. Сам механизм наборов Avro для обращения к отдельным полям сериализованных записей был объявлен в предварительном доступе 27 октября. Новое сообщение расширяет способы управления, а не впервые вводит поддержку формата.

Такое разделение дат важно для действующих пользователей командной строки: их прежняя работа не становится невозможной из-за появления интерфейса. Смысл дополнения — сделать определения схем видимыми и доступными для операций рядом с таблицей. Оно не объявлено переводом всех связанных возможностей Avro в общую доступность и не меняет самостоятельно содержимое уже записанных ячеек.

Схема прикрепляется к таблице, данные остаются байтами

Набор схем представляет собой ресурс уровня таблицы с одним или несколькими описаниями записей. Документация требует подготовить самодостаточное определение record в JSON с включёнными зависимостями. Через консоль загружается один файл AVSC или JSON размером не больше четырёх мегабайт; командная строка допускает также каталог с несколькими файлами.

При этом способ записи данных не меняется: приложение продолжает отправлять сериализованные байты Avro. В полезной нагрузке ячейки не должно быть встроенного определения схемы или её отпечатка. Следовательно, загрузка файла описания не является преобразованием произвольного содержимого таблицы. Соответствие формата записанных байтов и указанной схемы остаётся отдельным условием корректного чтения, которое новый экран сам по себе не обеспечивает.

Что теперь можно увидеть и запросить

В Bigtable Studio набор открывается из дерева таблицы; отображаются его сведения и JSON-определение. Рядом доступен переход к примеру запроса. Для чтения GoogleSQL приводит байтовое значение к записи с полным именем, включающим набор схем и пространство имён, после чего позволяет выбирать вложенные поля и фильтровать строки по их значениям.

Не все типы Avro получают произвольное соответствие в SQL. Например, int и long представлены как INT64, а fixed не поддерживается. Вложенные массивы также не допускаются. Поэтому знакомое описание Avro нельзя автоматически считать полностью пригодным для любой операции Bigtable. При подготовке запроса важно сверить используемые типы, правила обращения к полям и фактическую схему данных, а не ограничиваться успешной загрузкой файла в интерфейсе.

Обновление набора не означает замену старого определения

Правила управления разрешают добавлять определения record и enum, но не изменять или удалять уже зарегистрированные. При обновлении передаются как новые, так и все прежние схемы. Это не обычное редактирование документа с произвольной заменой поля. Разделение версий описания необходимо продумать до записи новых данных, особенно если приложение меняет состав сериализуемой записи.

Руководство по запросам отдельно предупреждает: читать запись требуется точной схемой, использованной при её создании. Несовпадение может приводить к ошибке исполнения или неверному сопоставлению полей. Отсутствующее имя типа также вызывает отказ запроса. Поэтому полезная проверка нового интерфейса включает просмотр определения и чтение известных записей с ожидаемыми значениями. Удобство консоли уменьшает количество ручных операций, но не является доказательством совместимости схем и не заменяет проверку результата запроса.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача