MagicClay: Vormgeven van Meshes met Generatieve Neurale Velden

MagicClay: Sculpting Meshes With Generative Neural Fields

March 4, 2024

Auteurs: Amir Barda, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix

cs.AI

Samenvatting

De recente ontwikkelingen in neurale velden hebben fenomenale mogelijkheden gebracht op het gebied van vormgeneratie, maar ze missen cruciale eigenschappen, zoals incrementele controle - een fundamentele vereiste voor artistiek werk. Driehoekige meshes daarentegen zijn de representatie van keuze voor de meeste geometrie-gerelateerde taken, vanwege hun efficiëntie en intuïtieve controle, maar lenen zich niet goed voor neurale optimalisatie. Om downstream taken te ondersteunen, stelt eerdere kunst doorgaans een tweestapsbenadering voor, waarbij eerst een vorm wordt gegenereerd met behulp van neurale velden, en vervolgens een mesh wordt geëxtraheerd voor verdere verwerking. In dit artikel introduceren we in plaats daarvan een hybride aanpak die zowel een mesh als een Signed Distance Field (SDF)-representatie consistent behoudt. Met behulp van deze representatie introduceren we MagicClay - een kunstenaarsvriendelijk gereedschap voor het bewerken van delen van een mesh op basis van tekstuele prompts, terwijl andere delen onaangetast blijven. Ons framework zorgt zorgvuldig en efficiënt voor een balans tussen consistentie van de representaties en regularisaties in elke stap van de vormoptimalisatie; Door te vertrouwen op de mesh-representatie, laten we zien hoe de SDF op hogere resoluties en sneller kan worden weergegeven. Daarnaast maken we gebruik van recent werk in differentieerbare mesh-reconstructie om adaptief driehoeken in de mesh toe te wijzen waar nodig, zoals aangegeven door de SDF. Met een geïmplementeerd prototype demonstreren we superieure gegenereerde geometrie vergeleken met de state-of-the-art, en nieuwe consistente controle, waardoor sequentiële prompt-gebaseerde bewerkingen aan dezelfde mesh voor het eerst mogelijk worden.

English

The recent developments in neural fields have brought phenomenal capabilities to the field of shape generation, but they lack crucial properties, such as incremental control - a fundamental requirement for artistic work. Triangular meshes, on the other hand, are the representation of choice for most geometry related tasks, offering efficiency and intuitive control, but do not lend themselves to neural optimization. To support downstream tasks, previous art typically proposes a two-step approach, where first a shape is generated using neural fields, and then a mesh is extracted for further processing. Instead, in this paper we introduce a hybrid approach that maintains both a mesh and a Signed Distance Field (SDF) representations consistently. Using this representation, we introduce MagicClay - an artist friendly tool for sculpting regions of a mesh according to textual prompts while keeping other regions untouched. Our framework carefully and efficiently balances consistency between the representations and regularizations in every step of the shape optimization; Relying on the mesh representation, we show how to render the SDF at higher resolutions and faster. In addition, we employ recent work in differentiable mesh reconstruction to adaptively allocate triangles in the mesh where required, as indicated by the SDF. Using an implemented prototype, we demonstrate superior generated geometry compared to the state-of-the-art, and novel consistent control, allowing sequential prompt-based edits to the same mesh for the first time.