MagicClay: Создание сеток с помощью генеративных нейронных полей

MagicClay: Sculpting Meshes With Generative Neural Fields

March 4, 2024

Авторы: Amir Barda, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix

cs.AI

Аннотация

Недавние достижения в области нейронных сетей принесли феноменальные возможности в область генерации форм, но им не хватает ключевых свойств, таких как пошаговый контроль - фундаментальное требование для художественной работы. Треугольные сетки, с другой стороны, являются предпочтительным представлением для большинства задач, связанных с геометрией, предлагая эффективность и интуитивный контроль, но не поддаются нейронной оптимизации. Для поддержки последующих задач предыдущие работы обычно предлагают двухэтапный подход, где сначала форма генерируется с использованием нейронных сетей, а затем извлекается сетка для дальнейшей обработки. Вместо этого в данной статье мы представляем гибридный подход, который последовательно поддерживает как сетку, так и представления поля знакового расстояния (SDF). Используя это представление, мы представляем MagicClay - инструмент, удобный для художников, для лепки областей сетки в соответствии с текстовыми подсказками, сохраняя при этом другие области нетронутыми. Наша структура внимательно и эффективно балансирует согласованность между представлениями и регуляризациями на каждом этапе оптимизации формы; Основываясь на представлении сетки, мы показываем, как рендерить SDF с более высоким разрешением и быстрее. Кроме того, мы используем недавние работы в области дифференцируемой реконструкции сетки для адаптивного выделения треугольников в сетке там, где это необходимо, как указано в SDF. Используя реализованный прототип, мы демонстрируем превосходную сгенерированную геометрию по сравнению с современными достижениями и новый согласованный контроль, позволяющий последовательные изменения на основе подсказок в одной и той же сетке впервые.

English

The recent developments in neural fields have brought phenomenal capabilities to the field of shape generation, but they lack crucial properties, such as incremental control - a fundamental requirement for artistic work. Triangular meshes, on the other hand, are the representation of choice for most geometry related tasks, offering efficiency and intuitive control, but do not lend themselves to neural optimization. To support downstream tasks, previous art typically proposes a two-step approach, where first a shape is generated using neural fields, and then a mesh is extracted for further processing. Instead, in this paper we introduce a hybrid approach that maintains both a mesh and a Signed Distance Field (SDF) representations consistently. Using this representation, we introduce MagicClay - an artist friendly tool for sculpting regions of a mesh according to textual prompts while keeping other regions untouched. Our framework carefully and efficiently balances consistency between the representations and regularizations in every step of the shape optimization; Relying on the mesh representation, we show how to render the SDF at higher resolutions and faster. In addition, we employ recent work in differentiable mesh reconstruction to adaptively allocate triangles in the mesh where required, as indicated by the SDF. Using an implemented prototype, we demonstrate superior generated geometry compared to the state-of-the-art, and novel consistent control, allowing sequential prompt-based edits to the same mesh for the first time.