Перейти к содержанию
ERITKOM
БизнесНовость

Google объявила GA экспорта BigQuery в AlloyDB и показала переход Copel на Reverse ETL

Прямой экспорт сокращает цепочку доставки аналитических данных в операционные приложения. В опубликованном кейсе Copel исчезли промежуточные CSV, но документация на 14 ноября ещё сохраняет пометку Preview и ограничения пакетной загрузки.

Архивная фотография рабочего места с ноутбуком и пустым креслом в Брешии, 2017 год; тематическая иллюстрация работы с данными, не офис Copel и не экран BigQuery
Luca Bravo, Desktop after work, Брешия, 13.02.2017, CC0 1.0. Архивное тематическое фото, не офис Copel или Google и не интерфейс BigQuery. Пропорциональное уменьшение и JPEG→WebP.

Как данные счётчиков возвращаются в рабочие приложения

Google Cloud 13 ноября объявила общую доступность экспорта BigQuery в AlloyDB и представила опыт бразильской энергетической компании Copel. Аналитическое хранилище собирает телеметрию умных электросчётчиков, а подготовленные данные нужны в оперативной базе для клиентских приложений, поддержки и расчётных систем. Перенос результатов анализа обратно в такие приложения называют обратным ETL, или Reverse ETL.

Прежде Copel использовала последовательность задач Airflow: выгрузку результатов в CSV в Cloud Storage, подготовку временных таблиц, загрузку файлов командами gCloud и переключение таблиц. Согласно публикации, встроенный экспорт позволил заменить этот маршрут одной задачей с SQL-запросом, без промежуточных файлов.

Авторы приводят испытание с 207,5 млн строк и примерно 4,2 млн строк в минуту на AlloyDB N2 с 16 виртуальными процессорами и 128 ГБ памяти. Это результат конкретной нагрузки Copel, опубликованный участниками проекта, а не гарантированная скорость для любого заказчика или независимое измерение редакции.

SQL задаёт состав выгрузки, а статус документации требует оговорки

В справочнике GoogleSQL экспорт описан через EXPORT DATA: запрос SELECT определяет отправляемый результат, формат ALLOYDB обозначает приёмник, а адрес включает проект, расположение, кластер и экземпляр базы. Параметр alloydb_options задаёт таблицу назначения. В примере также используется BigQuery connection, а выбранные столбцы получают имена, соответствующие целевой структуре. Таким образом, предмет операции — результат запроса, а не автоматический перенос всего аналитического проекта.

За саму операцию экспорта отдельная плата не заявлена, но выполнение запроса и хранение в AlloyDB оплачиваются. Устранение промежуточного хранилища поэтому не делает весь процесс бесплатным.

Есть расхождение первоисточников: на 14 ноября справочник EXPORT DATA, обновлённый 10 ноября, всё ещё отмечает направление AlloyDB как Preview и содержит ссылку на предварительную регистрацию. Поэтому здесь сообщается именно об анонсе GA; доступность и применимые условия конкретного проекта следует уточнять по актуальным настройкам сервиса, не считая справку уже приведённой в соответствие с блогом.

Пакетная вставка не выполняет обновление существующих строк

Руководство экспорта описывает только пакетные задания, без continuous queries. Строки добавляются, но существующие записи не изменяются и не удаляются. Без уникального ограничения повторная выгрузка способна создать дубли; при конфликте PRIMARY KEY или UNIQUE завершается ошибкой всё задание. Автоматического upsert, то есть обновления найденной строки вместо вставки, нет. Несколько одновременных экспортов в одну таблицу не рекомендуются.

Целевые схема и таблица должны существовать заранее, а экземпляр AlloyDB быть PRIMARY в состоянии READY. Для подключения поддерживаются имя пользователя и пароль. Требуется резервирование BigQuery Enterprise или Enterprise Plus с назначением QUERY; Standard и вычисления по запросу не поддерживаются.

Документация ограничивает задание шестью часами. Региональный набор данных передаётся в тот же регион; для мультирегионов US и EU предусмотрены соответственно us-central1 и europe-west4. ARRAY, BYTES, GEOGRAPHY, INTERVAL и STRUCT напрямую не поддерживаются. Эти условия важны для переноса существующего процесса: сокращение числа задач не меняет правила записи в целевую базу.

Периодическая копия таблицы — другой механизм

Отдельная документация AlloyDB описывает синхронизацию таблиц BigQuery. Её нельзя отождествлять с пакетным EXPORT DATA. Однократная синхронизация создаёт самостоятельную копию, доступную для записи; периодическое зеркалирование формирует локальную таблицу только для чтения и обновляет её по расписанию. Данные при этом действительно копируются в хранилище AlloyDB, в отличие от чтения удалённой таблицы через внешний адаптер.

Для этого механизма указаны PostgreSQL 18, флаг alloydb_sync.enabled и настройка соответствующих расширений. Наличие экспортного SQL-запроса само по себе не включает периодическое зеркало. Это отдельный вариант доступа к данным со своими требованиями к базе и разрешениям.

У режима замены есть заметная эксплуатационная особенность: существующая таблица удаляется и создаётся заново перед импортом. Запросы сначала видят пустую таблицу, затем данные появляются по мере фиксации пакетов. Перенос также расходует процессор и память. Поэтому постоянное чтение операционным приложением, расписание обновлений и допустимое окно неполных данных требуют отдельного согласования, даже если промежуточные CSV больше не нужны.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача