В Amazon Kinesis появились очереди для независимой обработки событий
AWS добавила к потокам On-demand очереди на базе SQS. У каждой очереди своё состояние доставки, но получатель должен учитывать повторную доставку и отсутствие строгого порядка.

Что поменялось в чтении потока
17 ноября AWS объявила, что к потоку Amazon Kinesis Data Streams в режиме On-demand можно подключить очередь. Раньше приложение, читающее поток через Kinesis Client Library, распределяло секции потока между своими экземплярами и сохраняло позиции чтения. Теперь приложение может получать отдельные записи из очереди и подтверждать обработку каждой записи. Инфраструктура очереди использует механизмы Amazon SQS, однако очередь создаётся как ресурс Kinesis, связанный ровно с одним потоком.
Например, обработчикам заявок на изменение адреса доставки не обязательно видеть события в той же последовательности, что и службе, строящей историю статусов. Первым можно параллельно выдавать работы по разным заявкам из очереди. Вторая может продолжать читать нужную секцию потока напрямую, где доступен порядок записей внутри этой секции. Оба приложения при этом используют один входной поток. Экземпляры первого приложения не распределяют между собой секции, поэтому число обработчиков для очереди не привязано к их количеству.
Подтверждение не удаляет запись из потока
После выдачи конкретная запись временно скрыта от других экземпляров того же обработчика. Приложение сообщает об успехе после выполнения работы. Если оно остановилось или не успело подтвердить запись до истечения срока видимости, её может получить другой экземпляр. Документация отмечает, что редкий повтор возможен и после подтверждения. Поэтому обработка одной работы несколько раз должна давать тот же результат, что и однократная обработка.
Состояние доставки у каждой очереди своё. Подтверждение в очереди для одного приложения не влияет на чтение той же записи из другой очереди или напрямую из потока. Это различие пригодится при диагностике: отставание одной службы не означает, что другая видит тот же объём необработанных записей. Порядок прихода в очередь не гарантирован. Например, последовательность двух изменений одного адреса нельзя восстанавливать по одному лишь порядку выдачи; для такой задачи потребуется либо зависимость от состояния самого заказа, либо другой способ чтения.
Что произойдёт с ошибочными записями
Записи, которые не удаётся обработать за заданное число получений, очередь по умолчанию переводит в отдельное состояние для разбора. С ними работают отдельные операции: запись можно изучить, отбросить либо вернуть к обычной доставке после устранения причины сбоя. Такие записи хранятся лишь пока исходная запись присутствует в потоке. Если ошибка долго остаётся без внимания, это не бессрочный архив для её последующего восстановления.
У очередей есть свои метрики CloudWatch, в том числе числа доступных записей и тех, по которым уже ожидается подтверждение. Масштабировать пул можно по накоплению доступных работ, а для постоянно сбоящих записей настроить отдельное наблюдение. Большая разница между этими показателями помогает отличать отставание обработчиков от ситуации, когда работы уже выданы и сейчас обрабатываются.
Как подключается новый потребитель
При создании очереди выбирается начальная позиция: с новых записей, с самой ранней сохранённой или с указанного времени. Последние два варианта позволяют новому потребителю обработать часть истории, если она ещё есть в потоке. Очередь считается зарегистрированным потребителем и расходует общий лимит с клиентами enhanced fan-out. Документация указывает 20 регистраций для On-demand Standard и 50 для On-demand Advantage. Прежние отправители событий могут продолжить запись в тот же поток. Для потоков с выделенной ёмкостью запуск этой возможности не объявлен.


