Перейти к содержанию
ERITKOM
Open SourceНовость

NumPy 2.5.5 запретила бессмысленные преобразования в StringDType и исправила зависание take

Исправляющий выпуск от 15 ноября поддерживает Python 3.12–3.15. Среди изменений — обработка структурированных типов, пустых осей и ошибок в строковых операциях.

Архивная фотография ноутбука с программным кодом, не экран NumPy 2.5.5 и не собственный тест редакции
Negative Space, фотография ноутбука с кодом, CC0 1.0. Архивная тематическая иллюстрация, не демонстрация NumPy 2.5.5. Изменены размер и формат JPEG→WebP.

Исправляющий выпуск оказался необычно крупным

Разработчики NumPy выпустили версию 2.5.5 15 ноября. На GitHub релиз опубликован в 23:35 UTC, то есть уже 16 ноября по московскому времени; дата самого выпуска в примечаниях остаётся 15 ноября. Поддерживаются версии Python от 3.12 до 3.15. Это исправление ветки 2.5, а не готовый выпуск будущей NumPy 2.6.

Авторы объясняют увеличенный объём работ ошибками, найденными при развитии строковых типов, продолжением работы с потоками и изменениями инфраструктуры сборки. В список вошли 37 объединённых запросов. Наряду с внутренними исправлениями есть изменение совместимости: преобразование структурированного void-типа или типа с подмассивом в StringDType теперь должно завершаться TypeError вместо интерпретации сырых байтов как UTF-8.

Почему структурированный массив больше не считается строкой

Обсуждение исправления показывает проблему на двух видах структурированных массивов. Если поле содержит Python-объект, прежний путь мог читать байты указателя как текст, причём результат зависел от адреса в памяти. Для структуры из двух целых чисел преобразование тоже не имело содержательного смысла: оно не превращало значения полей в обычное текстовое представление записи.

Разработчики выбрали явный отказ, согласовав его с уже существующим отказом преобразования в обратном направлении. При этом операции с неструктурированным void-типом, например V8, оставлены без изменения. Важно различать эти случаи: запрет для составной записи не означает удаления всякой работы с массивами сырых байтов. Исправление меняет именно неподходящий путь преобразования, а не объявляет все существующие строковые массивы несовместимыми.

Пустая ось могла приводить к бесконечному циклу

Другой включённый патч касается ndarray.take с осью нулевой длины и циклическим режимом wrap. В исходном обсуждении приведён минимальный пример: пустой массив формы 0×0, запрос индекса 0 и выбор первой оси. Без добавленной проверки операция попадала в бесконечный цикл.

Особенно неприятным было выполнение цикла вне интерпретатора: обычное прерывание Ctrl-C не помогало, поскольку обработчик сигнала не получал управление. Обсуждение датировано октябрём, но патч включён в опубликованный сейчас выпуск 2.5.5. Поэтому дата исправления в репозитории и дата его появления в готовой версии здесь различаются. Эта запись не является результатом нового измерения производительности и не обещает ускорение всех операций выбора элементов.

StringDType по-прежнему отличается от строк фиксированной длины

Руководство NumPy описывает StringDType как тип для строк переменной длины в UTF-8. В отличие от привычных строк фиксированного размера, основной буфер ndarray хранит метаданные о расположении строк, а не сами текстовые данные. Код, который напрямую читает этот буфер в ожидании последовательности символов, требует отдельной поддержки нового представления.

Тип также не задаётся максимальной длиной каждого элемента: короткие и длинные строки могут находиться в одном массиве без заранее выделенного заполнения до общего предела. Для преобразования обратно в строковый тип фиксированной ширины длину уже нужно указать явно. При работе с UTF-8 число байтов не обязательно совпадает с числом символов. Это существующие свойства StringDType, помогающие понять границу нового запрета, а не дополнительные возможности, впервые появившиеся в версии 2.5.5.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача