Нейронные клеточные автоматы (NCA) работают на грубой решётке ячеек — в примере это вершины полигональной сетки. В центре схемы — точка выборки (red dot) внутри треугольного примитива. Вершины треугольника соответствуют ячейкам NCA с состояниями State_i, State_j, State_k. Для точки вычисляют две вещи: локальную координату u(Point), которая описывает её положение внутри примитива, и локально усреднённое состояние \bar{State}(Point) — оно получается интерполяцией состояний окружающих ячеек.
Эти два значения подаются на вход общей лёгкой MLP-сети, которую назвали Local Pattern Producing Network (LPPN). LPPN на выходе выдаёт целевые свойства в точке — например, цвет и нормаль поверхности. Ключевое: NCA и LPPN обучаются совместно, end-to-end, то есть вся система настраивается сразу под нужный результат.
Авторы статьи прилагают интерактивную визуализацию — можно покрутить и посмотреть, как грубые состояния ячеек NCA превращаются в финальное изображение через LPPN. Метод позволяет синтезировать текстуры и геометрию с очень высоким разрешением, используя при этом сравнительно небольшую и простую нейросеть.