OVHcloud опубликовала веса языковой модели Olala mini 7A1B
Модель получила контекст на 32 тысячи токенов и файлы GGUF для локального запуска. Публичный релиз состоялся 19 ноября после предварительного анонса.

Что вышло 19 ноября
OVHcloud разместила на Hugging Face ключевые файлы Olala v1.0 mini 7A1B и отдельный набор сжатых весов GGUF. Компания предварительно представила модель 17 ноября в Рубе и назначила официальный запуск на 19 ноября. Эта же дата указана в карточке выпущенных весов. Условия Apache 2.0 распространяются на модель, а в комплект репозитория входит NOTICE с атрибуцией токенизатора Qwen. OVHcloud также опубликовала технический отчёт и общедоступное описание состава обучающих материалов.
Olala предназначена для текстового диалога, выполнения инструкций и вызова инструментов. Последняя возможность полезна, например, для помощника, который по текстовому вопросу формирует обращение к поиску документов. Приложение по-прежнему определяет доступные инструменты, проверяет сформированные аргументы и решает, когда запрос разрешено отправить. Такая схема позволяет отделить текстовую часть интерфейса от правил работы с внешними данными.
Один миллиард параметров в работе
У модели 6,8 миллиарда параметров в целом, а на один обрабатываемый токен приходится около одного миллиарда активных. В карточке указано 36 слоёв, из которых 29 построены на Mamba-3 и семь используют механизм внимания. После каждого из них работает блок смеси экспертов, где маршрутизация выбирает часть вычислительных ветвей. Такая архитектура экономит операции на каждом токене. Для размещения весов нужно учитывать полный объём файла и требования выбранного движка.
Рабочий контекст текущей версии составляет 32 тысячи токенов на вход и выход вместе. При анализе документа длинный вход оставляет меньше места для ответа, поэтому важно заранее измерять размер текста после токенизации. Версия с контекстом 128 тысяч токенов указана как следующая в дорожной карте. На дату выпуска эта возможность остаётся за пределами Olala v1.0 mini.
Запуск на своём оборудовании
Файлы GGUF представлены в нескольких вариантах точности. Размеры опубликованных файлов начинаются примерно с 6 ГБ для пятибитного варианта и доходят до 13,6 ГБ у BF16. Размер файла на диске служит ориентиром для загрузки. Во время работы память дополнительно занимают состояние вычислений, контекст и сам движок. Уменьшение точности позволяет проверить модель на более компактной машине, но даёт повод сравнить результаты на собственных документах и заданиях.
Карточка GGUF описывает отдельную версию llama.cpp от OVHai LLM. Авторы указывают, что исходный llama.cpp, Ollama и LM Studio пока не загружают эту архитектуру. Для доступа через сеть карточка перечисляет OVHcloud AI Endpoints и другие размещённые варианты. У собственного развёртывания и у размещённого сервиса различаются требования к подготовке окружения и доступу к данным приложения.
Где её обучали и применили
По данным OVHcloud, при обучении использовали европейские суперкомпьютеры JUPITER, MeluXina и Jean Zay. В карточке модели приводится состав обучающих материалов на уровне категорий, включая публичные наборы и синтетические данные. Среди первых применений компания называет короткие ответы поисковой системы Qwant. Сообщённые OVHcloud изменения задержки и расходов относятся к сравнению с прежней моделью в конкретной функции Qwant. Для другого продукта результат зависит от оборудования, языка, длины запроса и способа запуска.

