MagicClay: Создание сеток с помощью генеративных нейронных полей
MagicClay: Sculpting Meshes With Generative Neural Fields
March 4, 2024
Авторы: Amir Barda, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix
cs.AI
Аннотация
Недавние достижения в области нейронных сетей принесли феноменальные возможности в область генерации форм, но им не хватает ключевых свойств, таких как пошаговый контроль - фундаментальное требование для художественной работы. Треугольные сетки, с другой стороны, являются предпочтительным представлением для большинства задач, связанных с геометрией, предлагая эффективность и интуитивный контроль, но не поддаются нейронной оптимизации. Для поддержки последующих задач предыдущие работы обычно предлагают двухэтапный подход, где сначала форма генерируется с использованием нейронных сетей, а затем извлекается сетка для дальнейшей обработки. Вместо этого в данной статье мы представляем гибридный подход, который последовательно поддерживает как сетку, так и представления поля знакового расстояния (SDF). Используя это представление, мы представляем MagicClay - инструмент, удобный для художников, для лепки областей сетки в соответствии с текстовыми подсказками, сохраняя при этом другие области нетронутыми. Наша структура внимательно и эффективно балансирует согласованность между представлениями и регуляризациями на каждом этапе оптимизации формы; Основываясь на представлении сетки, мы показываем, как рендерить SDF с более высоким разрешением и быстрее. Кроме того, мы используем недавние работы в области дифференцируемой реконструкции сетки для адаптивного выделения треугольников в сетке там, где это необходимо, как указано в SDF. Используя реализованный прототип, мы демонстрируем превосходную сгенерированную геометрию по сравнению с современными достижениями и новый согласованный контроль, позволяющий последовательные изменения на основе подсказок в одной и той же сетке впервые.
English
The recent developments in neural fields have brought phenomenal capabilities
to the field of shape generation, but they lack crucial properties, such as
incremental control - a fundamental requirement for artistic work. Triangular
meshes, on the other hand, are the representation of choice for most geometry
related tasks, offering efficiency and intuitive control, but do not lend
themselves to neural optimization. To support downstream tasks, previous art
typically proposes a two-step approach, where first a shape is generated using
neural fields, and then a mesh is extracted for further processing. Instead, in
this paper we introduce a hybrid approach that maintains both a mesh and a
Signed Distance Field (SDF) representations consistently. Using this
representation, we introduce MagicClay - an artist friendly tool for sculpting
regions of a mesh according to textual prompts while keeping other regions
untouched. Our framework carefully and efficiently balances consistency between
the representations and regularizations in every step of the shape
optimization; Relying on the mesh representation, we show how to render the SDF
at higher resolutions and faster. In addition, we employ recent work in
differentiable mesh reconstruction to adaptively allocate triangles in the mesh
where required, as indicated by the SDF. Using an implemented prototype, we
demonstrate superior generated geometry compared to the state-of-the-art, and
novel consistent control, allowing sequential prompt-based edits to the same
mesh for the first time.