Нейронные клеточные автоматы: как локальное правило выращивает узор и распознаёт общую форму
В этих моделях нет центрального рисовальщика: одинаковая маленькая сеть многократно обновляет клетки по сведениям от соседей. Исследования роста, текстур и распределённой классификации показывают разные способы обучения такой динамики.
Выращивать изображение означает учить правило обновления
В Growing Neural Cellular Automata Alexander Mordvintsev и коллег изображение представлено сеткой клеток с векторами состояния. В опубликованной модели у клетки шестнадцать вещественных каналов: видимые компоненты RGBA и скрытые значения. Каждая клетка использует одну и ту же небольшую сеть, а её вход ограничен локальным окружением. Обучаются общие параметры правила, не отдельная программа для каждого положения на картинке.
Восприятие соседства строится через фиксированные фильтры, оценивающие пространственные изменения каналов. Нейросетевой блок выдаёт прибавку к состоянию, поэтому динамика развивается последовательными небольшими обновлениями. Стохастическая маска пропускает часть обновлений, ослабляя зависимость от идеально синхронного шага всех клеток.
Цель первоначального эксперимента — получить заданный рисунок из одиночного начального зерна. Однако попасть в нужную форму после определённого числа шагов и сохранять её долго — разные задачи. Для устойчивости авторы возвращали полученные состояния в обучающий пул, а для восстановления намеренно повреждали часть примеров. Так обучение включало не только траекторию роста, но и возвращение из нарушенных конфигураций. Это игрушечная вычислительная модель самоорганизации, а не воспроизведение действительного генетического механизма живого организма.
Самоклассификация требует согласия всех клеток
В Self-classifying MNIST Digits та же идея локального обмена применяется к распознаванию цифр. Клетки расположены по форме входного изображения и должны прийти к согласию, какую цифру образуют вместе. У отдельной клетки нет глобальной карты и собственных координат, но есть сведения о соседях и ориентации решётки. Видимость положения соседей не равнозначна знанию всей фигуры.
Модель имеет неизменяемый канал исходной яркости и изменяемые каналы для коммуникации и ответа. Последние десять значений соответствуют возможным цифрам. Во время обучения контур мог превращаться в другую цифру: часть клеток исчезала, часть появлялась, а оставшимся нужно было пересмотреть прежнее решение. Это отличается от однократной классификации фиксированного изображения обычной сетью.
Авторы отдельно измеряли среднюю правильность ответов клеток и долю примеров с полным согласием. Эти показатели не совпадают: большинство клеток может ответить верно при сохраняющемся споре небольшой части. Замена функции потерь и добавление шума к обновлениям улучшали устойчивость в описанном эксперименте. При этом разорванные части рисунка не могут обмениваться сведениями через пустое пространство. Такая зависимость от связности прямо следует из локального устройства задачи и отмечена в первичной работе.
Текстуре не обязательно совпадать с образцом пиксель в пиксель
В Self-Organising Textures цель меняется: вместо точной формы требуется воспроизводить общий характер текстуры. Полученное изображение подаётся в фиксированную сеть VGG, а функция потерь сравнивает статистики её признаков с образцом. Обучаются параметры клеточного автомата; параметры VGG остаются неизменными. Поэтому пример задаёт свойства узора, а не обязательное положение каждого пятна.
В восприятие включены локальное состояние, градиенты и лапласиан. Пространственные границы можно замкнуть, получив тороидальную сетку. В исследовании также показан перенос некоторых выученных правил с квадратной на шестиугольную решётку после соответствующего изменения операторов соседства. Это демонстрация конкретных моделей, а не утверждение о независимости любого автомата от геометрии.
Текстуры продолжают меняться во времени, сохраняя подходящие статистические свойства. Такая динамика не является ошибкой неподвижного рисунка: функция потерь не требует единственного точного состояния. Внутренние каналы могут поддерживать структуру, неочевидную в RGB. Авторы исследовали их через уменьшение размерности и обсуждали возможную роль локальных координатных сигналов, но не выдавали эти качественные интерпретации за полную формальную расшифровку вычислений. У модели остаются и неудачные случаи: неправильные цвета, артефакты или несогласованная структура.
| Исследование | Цель | Что должно сохраняться при продолжении работы |
|---|---|---|
| Growing Neural CA | Заданный рисунок из начального зерна | Целевая форма; в отдельных режимах восстановление |
| Self-classifying MNIST | Общая метка образуемой цифры | Согласованная классификация и реакция на изменение формы |
| Self-Organising Textures | Статистические свойства образца | Характер текстуры, но не точное положение пикселей |
Источник: Первичные статьи серии Differentiable Self-organizing Systems
Общее правило не исключает влияния небольшой группы
В Adversarial Reprogramming of Neural Cellular Automata исследователи проверяют, можно ли изменить коллективное поведение, вмешавшись только в часть системы. Для самоклассифицирующихся цифр исходное правило фиксируется, а второе правило обучается побуждать клетки выдавать выбранную неправильную метку. В описанной постановке на каждом шаге оно применяется лишь к части клеток.
Цель состоит не в том, чтобы непосредственно переписать ответ каждой клетки. Изменённые элементы должны передать соседям сигналы, которые распространятся дальше и повлияют на общий консенсус. Работа сопоставляет такой сценарий с автоматами, выращивающими заданную форму: их реакция и необходимая доля вмешательства отличаются. Универсального порога для всех клеточных моделей публикация не устанавливает.
Рассматривается и другое вмешательство — преобразование внутренних состояний без изменения самих параметров правила. Обучаемая матрица применяется к вектору каждой живой клетки и меняет последующее развитие. Когда воздействие прекращается, некоторые модели возвращаются к исходному целевому виду. Это различает изменение состояния системы и изменение её собственного закона обновления. Исследование относится к вычислительным экспериментам; аналогии с биологическим регулированием не превращают найденное матричное преобразование в медицинский способ управления реальной тканью.
Lenia показывает, что непрерывная динамика не всегда нейронная
Клеточные системы с плавными состояниями существовали и вне нейросетевого обучения. В Lenia Bert Chan обобщает дискретные автоматы, расширяя описание пространства, времени, значений и локального правила. Для компьютерной модели используется решётка, а взаимодействие с окружением определяется свёрткой с ядром. Полученный потенциал проходит через функцию роста, после чего состояние обновляется небольшим приращением и ограничивается допустимым диапазоном.
Форма ядра и параметры роста управляют возникающими структурами. Автор исследовал их интерактивно и с помощью процедур поиска, систематизируя устойчивые движущиеся и изменяющиеся узоры. В отличие от описанных NCA, наличие свёртки здесь само по себе не означает обучаемую нейронную сеть. Сходная локальная организация вычислений допускает разные способы задания правила.
Термины «вид», «поведение» и «морфология» в работе помогают описывать искусственные узоры. Они не устанавливают биологический статус симуляции. Существенное для сравнения различие находится в постановке: Lenia исследует семейство заданных динамических законов, тогда как рассмотренные нейронные автоматы подбирают параметры локального обновления под функцию потерь. Общая наблюдаемая форма возникает из многократных локальных взаимодействий в обоих случаях, но цель и способ получения этих взаимодействий остаются разными.
