Перейти к содержанию
ERITKOM
Open SourceНовость

Restic 0.20.0 уменьшил расход памяти индекса и исправил восстановление файлов

Проект обновил восстановление жёстких ссылок, обработку повреждённых пакетов и вывод статистики очистки в JSON. Изменились и правила удаления файлов из целевой папки при неполном чтении снимка.

Внешний USB-жёсткий диск WD Elements на архивной фотографии
Внешний диск WD Elements, фото TheArchivistMan. Оригинал, CC0 1.0. Размер и формат изменены.

Новая версия утилиты резервного копирования

19 ноября вышла Restic 0.20.0, новая стабильная версия открытой программы резервного копирования. В ней изменилось поведение при восстановлении файлов, добавлены операции для диагностики репозитория, а индекс стал занимать меньше памяти. Restic хранит снимки файловой системы и использует дедупликацию: общие фрагменты содержимого могут участвовать в нескольких снимках, при этом данные физически находятся в общих пакетах. Такой способ хранения экономит место, но делает важным состояние индекса, который связывает ссылки в дереве снимка и расположение данных.

Разработчики сообщают о снижении потребления памяти индекса примерно на 12 процентов. Это оценка для определённой структуры внутри программы. Итоговый расход процесса зависит также от числа файлов, структуры репозитория и вида операции. Ждать одинакового сокращения памяти у каждого задания резервного копирования оснований нет.

Что изменилось при восстановлении

Команда восстановления теперь корректнее сопоставляет файлы, связанные жёсткими ссылками, когда часть уже имеющихся файлов совпадает со снимком. Для каталога, который Restic не смог прочитать из резервной копии, при восстановлении с удалением лишнего файлы в целевой папке сохраняются. Такое поведение важно при неполном чтении архива: отсутствие сведений о содержимом каталога не должно превращаться в указание удалить существующие файлы. В релизе также закрыли две проблемы безопасности восстановления, в том числе изменили обработку владельца файла, когда его имя не разрешается на целевой машине.

При переносе на новый сервер полезно проверить восстановление в отдельный каталог. На результат влияют права пользователя, существующие файлы и отличия учётных записей на старом и новом хостах. Проверка одного небольшого снимка даёт возможность сравнить дерево, права и жёсткие ссылки до восстановления всей рабочей папки.

Диагностика репозитория и очистка

Команда repair packs теперь обрабатывает и отсутствующие, и повреждённые пакеты данных. Операция repair snapshots с параметром forget получила возможность удалять повреждённые снимки. Это разные действия: первая работает с пакетами, а вторая изменяет состав сохранённых снимков. Конкретную причину сбоя и состояние резервных копий надо выяснить до операции, меняющей состав репозитория. Команда list packs теперь умеет показывать, какие пакеты нужны конкретному снимку. Это полезно для расследования, когда оператор видит ошибки чтения и хочет понять, какие точки восстановления зависят от проблемных данных.

Команда prune получила вывод JSON. Руководство описывает его как одну итоговую запись со статистикой по пакетам, байтам и блокам данных. Её можно сохранять в журнал обслуживания и сравнивать с предыдущими запусками. При этом отдельный сценарий автоматизации должен продолжать проверять код завершения команды и сообщения об ошибках.

Изменения для хранилищ

В Backblaze B2 добавили поддержку ключей для нескольких бакетов. Для S3 появился вариант отключать адреса dual-stack, а проверка может использовать предварительное чтение, если выбранный вариант хранения его поддерживает. Эти изменения имеют значение прежде всего для администраторов с несколькими типами хранилищ и собственной настройкой сети. Набор возможностей для конкретного объекта зависит от используемого хранилища и прав доступа ключа.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача