Google объявила GA экспорта BigQuery в AlloyDB и показала переход Copel на Reverse ETL
Прямой экспорт сокращает цепочку доставки аналитических данных в операционные приложения. В опубликованном кейсе Copel исчезли промежуточные CSV, но документация на 14 ноября ещё сохраняет пометку Preview и ограничения пакетной загрузки.

Как данные счётчиков возвращаются в рабочие приложения
Google Cloud 13 ноября объявила общую доступность экспорта BigQuery в AlloyDB и представила опыт бразильской энергетической компании Copel. Аналитическое хранилище собирает телеметрию умных электросчётчиков, а подготовленные данные нужны в оперативной базе для клиентских приложений, поддержки и расчётных систем. Перенос результатов анализа обратно в такие приложения называют обратным ETL, или Reverse ETL.
Прежде Copel использовала последовательность задач Airflow: выгрузку результатов в CSV в Cloud Storage, подготовку временных таблиц, загрузку файлов командами gCloud и переключение таблиц. Согласно публикации, встроенный экспорт позволил заменить этот маршрут одной задачей с SQL-запросом, без промежуточных файлов.
Авторы приводят испытание с 207,5 млн строк и примерно 4,2 млн строк в минуту на AlloyDB N2 с 16 виртуальными процессорами и 128 ГБ памяти. Это результат конкретной нагрузки Copel, опубликованный участниками проекта, а не гарантированная скорость для любого заказчика или независимое измерение редакции.
SQL задаёт состав выгрузки, а статус документации требует оговорки
В справочнике GoogleSQL экспорт описан через EXPORT DATA: запрос SELECT определяет отправляемый результат, формат ALLOYDB обозначает приёмник, а адрес включает проект, расположение, кластер и экземпляр базы. Параметр alloydb_options задаёт таблицу назначения. В примере также используется BigQuery connection, а выбранные столбцы получают имена, соответствующие целевой структуре. Таким образом, предмет операции — результат запроса, а не автоматический перенос всего аналитического проекта.
За саму операцию экспорта отдельная плата не заявлена, но выполнение запроса и хранение в AlloyDB оплачиваются. Устранение промежуточного хранилища поэтому не делает весь процесс бесплатным.
Есть расхождение первоисточников: на 14 ноября справочник EXPORT DATA, обновлённый 10 ноября, всё ещё отмечает направление AlloyDB как Preview и содержит ссылку на предварительную регистрацию. Поэтому здесь сообщается именно об анонсе GA; доступность и применимые условия конкретного проекта следует уточнять по актуальным настройкам сервиса, не считая справку уже приведённой в соответствие с блогом.
Пакетная вставка не выполняет обновление существующих строк
Руководство экспорта описывает только пакетные задания, без continuous queries. Строки добавляются, но существующие записи не изменяются и не удаляются. Без уникального ограничения повторная выгрузка способна создать дубли; при конфликте PRIMARY KEY или UNIQUE завершается ошибкой всё задание. Автоматического upsert, то есть обновления найденной строки вместо вставки, нет. Несколько одновременных экспортов в одну таблицу не рекомендуются.
Целевые схема и таблица должны существовать заранее, а экземпляр AlloyDB быть PRIMARY в состоянии READY. Для подключения поддерживаются имя пользователя и пароль. Требуется резервирование BigQuery Enterprise или Enterprise Plus с назначением QUERY; Standard и вычисления по запросу не поддерживаются.
Документация ограничивает задание шестью часами. Региональный набор данных передаётся в тот же регион; для мультирегионов US и EU предусмотрены соответственно us-central1 и europe-west4. ARRAY, BYTES, GEOGRAPHY, INTERVAL и STRUCT напрямую не поддерживаются. Эти условия важны для переноса существующего процесса: сокращение числа задач не меняет правила записи в целевую базу.
Периодическая копия таблицы — другой механизм
Отдельная документация AlloyDB описывает синхронизацию таблиц BigQuery. Её нельзя отождествлять с пакетным EXPORT DATA. Однократная синхронизация создаёт самостоятельную копию, доступную для записи; периодическое зеркалирование формирует локальную таблицу только для чтения и обновляет её по расписанию. Данные при этом действительно копируются в хранилище AlloyDB, в отличие от чтения удалённой таблицы через внешний адаптер.
Для этого механизма указаны PostgreSQL 18, флаг alloydb_sync.enabled и настройка соответствующих расширений. Наличие экспортного SQL-запроса само по себе не включает периодическое зеркало. Это отдельный вариант доступа к данным со своими требованиями к базе и разрешениям.
У режима замены есть заметная эксплуатационная особенность: существующая таблица удаляется и создаётся заново перед импортом. Запросы сначала видят пустую таблицу, затем данные появляются по мере фиксации пакетов. Перенос также расходует процессор и память. Поэтому постоянное чтение операционным приложением, расписание обновлений и допустимое окно неполных данных требуют отдельного согласования, даже если промежуточные CSV больше не нужны.


