Перейти к содержанию
ERITKOM
ОблакаНовость

Cloudflare Basin вышла в общую доступность: события, Iceberg и SQL

Прежняя Data Platform получила общее имя и статус GA. Конвейер строится на Pipelines, Catalog, SQL и объектном хранилище R2.

Схема аналитической платформы Cloudflare Basin
Изображение: Cloudflare, официальный источник.

Новое имя для связанной платформы

1 октября Cloudflare объявила общую доступность Basin — платформы аналитических данных, выросшей из Cloudflare Data Platform. Cloudflare Pipelines, R2 Data Catalog и R2 SQL получили имена Basin Pipelines, Basin Catalog и Basin SQL. Существующие ресурсы и настройки продолжают работать. Это важно отделять от создания совершенно новой несовместимой системы: часть новости относится к статусу поставки и объединению интерфейсов. Платформа получает события, преобразует их, хранит таблицы в открытом формате Apache Iceberg на R2 и выполняет аналитические запросы. Компоненты можно использовать вместе либо подключать по отдельности к уже существующему стеку. Общая доступность не означает, что все пункты будущего плана уже реализованы.

Как проходит событие

Pipelines принимает данные через HTTP, привязки Workers и интеграции вроде Logpush. SQL-преобразование на этапе приёма подготавливает событие к записи. Catalog управляет метаданными таблиц Iceberg и предоставляет REST-каталог, а также автоматическое обслуживание, включая уплотнение файлов и удаление старых снимков по правилам. SQL исполняет распределённые аналитические запросы без создания собственного кластера. Здесь полезно различать поток входных событий, физические файлы и логическую таблицу. Появление события в приёмнике не гарантирует, что произвольный внешний движок немедленно увидит его в окончательном снимке. Формат Iceberg даёт согласованный способ описывать таблицы, но задержка всего пути зависит от этапов обработки.

Открытый формат и стоимость

Cloudflare связывает переносимость с Apache Iceberg и совместимыми внешними движками. Это сохраняет больше вариантов чтения данных, чем закрытый внутренний формат. Однако совместимость зависит от поддержанной версии спецификации, типов, авторизации каталога и возможностей конкретного движка. Отсутствие платы за исходящий трафик R2 не означает бесплатную аналитическую платформу: отдельно учитываются хранение, обработка и запросы согласно тарифам компонентов. Документация Basin даёт переход к pricing и ограничениям. 1 октября также повышен лимит приёма одного потока Pipelines до 1 ГБ в секунду вместо прежних 5 МБ в секунду. Это предел потока, а не обещанная скорость любого клиента через любую сеть.

Что относится к дальнейшему развитию

В объявлении отдельно перечислены планы: новые варианты подключения источников, расширение SQL, более адаптивное обслуживание таблиц и развитие поддержки спецификации Iceberg. Эти пункты нельзя включать в перечень уже поставленных функций. Для готового маршрута существенны схема событий, обработка некорректной записи и совместимость аналитического потребителя. Serverless снимает задачу выбора числа серверов, но не определяет смысл колонок и границы хранения. Для повторяемого запроса важно знать, какой снимок таблицы читался и когда данные прошли преобразование. Basin объединяет технические этапы в один продуктовый контур; проверка результата всё равно проходит от отправленного события до конкретной строки, которую вернул аналитический запрос. Октябрьский статус GA относится к опубликованным Pipelines, Catalog и SQL в их документированных границах.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача