MagicClay: Modellieren von Meshes mit generativen neuronalen Feldern

MagicClay: Sculpting Meshes With Generative Neural Fields

March 4, 2024

Autoren: Amir Barda, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix

cs.AI

Zusammenfassung

Die jüngsten Entwicklungen im Bereich neuronaler Felder haben phänomenale Fähigkeiten im Bereich der Formgenerierung gebracht, aber es fehlen entscheidende Eigenschaften wie inkrementelle Steuerung - eine grundlegende Anforderung für künstlerische Arbeiten. Dreiecksgitter sind hingegen die bevorzugte Darstellung für die meisten geometriebezogenen Aufgaben, da sie Effizienz und intuitive Steuerung bieten, aber sich nicht für neuronale Optimierung eignen. Zur Unterstützung nachgelagerter Aufgaben schlägt die bisherige Literatur typischerweise einen zweistufigen Ansatz vor, bei dem zunächst eine Form unter Verwendung neuronaler Felder generiert wird und anschließend ein Gitter zur weiteren Verarbeitung extrahiert wird. In diesem Paper stellen wir stattdessen einen hybriden Ansatz vor, der sowohl ein Gitter als auch eine Darstellung mittels Vorzeichenabstandsfeld (SDF) konsistent beibehält. Unter Verwendung dieser Darstellung stellen wir MagicClay vor - ein benutzerfreundliches Werkzeug für Künstler, um Regionen eines Gitters gemäß textueller Anweisungen zu modellieren, während andere Regionen unberührt bleiben. Unser Framework balanciert sorgfältig und effizient die Konsistenz zwischen den Darstellungen und Regularisierungen in jedem Schritt der Formoptimierung; Basierend auf der Gitterdarstellung zeigen wir, wie das SDF in höheren Auflösungen und schneller gerendert werden kann. Darüber hinaus nutzen wir aktuelle Arbeiten zur differentiellen Gitterrekonstruktion, um Dreiecke im Gitter adaptiv zuzuweisen, wo dies gemäß des SDF erforderlich ist. Anhand eines implementierten Prototyps zeigen wir eine überlegene generierte Geometrie im Vergleich zum Stand der Technik sowie eine neuartige konsistente Steuerung, die erstmals sequenzielle promptbasierte Bearbeitungen am selben Gitter ermöglicht.

English

The recent developments in neural fields have brought phenomenal capabilities to the field of shape generation, but they lack crucial properties, such as incremental control - a fundamental requirement for artistic work. Triangular meshes, on the other hand, are the representation of choice for most geometry related tasks, offering efficiency and intuitive control, but do not lend themselves to neural optimization. To support downstream tasks, previous art typically proposes a two-step approach, where first a shape is generated using neural fields, and then a mesh is extracted for further processing. Instead, in this paper we introduce a hybrid approach that maintains both a mesh and a Signed Distance Field (SDF) representations consistently. Using this representation, we introduce MagicClay - an artist friendly tool for sculpting regions of a mesh according to textual prompts while keeping other regions untouched. Our framework carefully and efficiently balances consistency between the representations and regularizations in every step of the shape optimization; Relying on the mesh representation, we show how to render the SDF at higher resolutions and faster. In addition, we employ recent work in differentiable mesh reconstruction to adaptively allocate triangles in the mesh where required, as indicated by the SDF. Using an implemented prototype, we demonstrate superior generated geometry compared to the state-of-the-art, and novel consistent control, allowing sequential prompt-based edits to the same mesh for the first time.