Diffusers 0.43.0 расширяет модульные конвейеры и уточняет работу с моделями
В выпуск вошли пять интеграций для изображений и видео. Документация отдельно раскрывает требования к памяти, изоляцию attention backend и сохранение вариантов контрольных точек.

В одном выпуске собраны разные задачи генерации
Hugging Face 12 ноября выпустила Diffusers 0.43.0. В примечаниях перечислены модульные интеграции MiniMax-H3-Image, Pika H3 Flex, P-H3-Image, Kandinsky S2V 1.0 и PAN 2. Они охватывают создание и редактирование изображений, видео со звуком, анимацию по речевой записи и моделирование сцен. Это обновление программной библиотеки, а не обещание одинаковых возможностей всех перечисленных моделей.
В той же версии проверки доступности зависимостей начали учитывать поддерживаемые минимальные версии. Например, уже существующие пороги torch 2.6 и transformers 4.41.2 теперь участвуют в таких проверках: слишком старый установленный пакет считается недоступным, пользователю показывается сообщение об обновлении. Это не объявление новых повышенных минимумов. Примечания также выделяют совместимость компонентов и исправления инфраструктуры; исходные обсуждения отдельных изменений могли начаться задолго до даты самого релиза.
Модульная загрузка не отменяет требований к памяти
Руководство MiniMax-H3-Image для версии 0.43.0 показывает двухэтапную работу: сначала создаётся ModularPipeline, затем отдельно загружаются компоненты. Интеграция представлена модульными блоками; наличие привычного названия библиотеки не означает, что все старые параметры другого конвейера можно перенести без изменений.
В документации трансформер и текстовый кодировщик занимают примерно по 62 ГБ в bfloat16. Вместе они не помещаются на ускорителе с 80 ГБ памяти, поэтому пример использует автоматический перенос компонентов между CPU и GPU. Указанный авторами пик около 65 ГБ относится к примеру изображения 4736×3552, а не к измерению на нашем оборудовании.
У этого checkpoint фиксированная схема из шести шагов; обычных num_inference_steps, negative_prompt и guidance_scale нет. По умолчанию небольшой запрошенный результат сначала создаётся на более крупном полотне и уменьшается. Поэтому уменьшение конечной картинки само по себе не гарантирует пропорционального сокращения вычислений.
Выбор attention backend ограничен нужной моделью
Включённое в примечания к выпуску исправление разобрано в pull request 14335. Метод ModelMixin.set_attention_backend больше не должен менять активный backend сразу для всего процесса: настройка относится к обработчикам attention выбранной модели. Это важно для программы, в которой одновременно находятся несколько разных моделей, а не только один изолированный конвейер.
Практический смысл можно представить на двух объектах в одном процессе. Выбор подходящего ускоренного механизма для первого не должен незаметно перенастраивать второй, которому нужны другие условия выполнения. Исправление касается границы действия настройки, а не заявления, что любой backend теперь поддерживается на любом ускорителе.
Автор изменения добавил регрессионную проверку, что вызов метода не изменяет общий реестр, и сообщил о проверках Flux и QwenImage. Это сведения разработчика об исправлении; собственных сравнительных измерений скорости или совместимости всех устройств в этой новости нет.
Сохранение checkpoint не должно удалять соседний вариант
Другой отмеченный разработчиками случай подробно описан в pull request 14844. При сохранении весов метод save_pretrained очищал старые фрагменты по слишком общему совпадению имени. Если каталог уже содержал разбитый на части вариант ema, последующее сохранение обычного варианта могло удалить его фрагменты, оставив индекс со ссылками на отсутствующие файлы.
Исправление ограничивает поиск файлов точным вариантом и форматом сохраняемых весов. Оно также убирает устаревший индекс самого checkpoint, когда вместо нескольких фрагментов записывается один файл. Это два связанных условия: сохранить файлы другого варианта и не заставлять загрузчик читать уже ненужное описание текущего.
В регрессионном сценарии сначала сохраняется разбитый checkpoint, затем обычный неразбитый, после чего проверяется повторная загрузка первого с совпадающими параметрами. Защита последующих сохранений не означает автоматического восстановления файлов, удалённых раньше: исправление алгоритма записи и наличие неповреждённой копии весов остаются разными вопросами.


