MagicClay: Scultura di Mesh con Campi Neurali Generativi

MagicClay: Sculpting Meshes With Generative Neural Fields

March 4, 2024

Autori: Amir Barda, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix

cs.AI

Abstract

I recenti sviluppi nei campi neurali hanno portato capacità fenomenali al campo della generazione di forme, ma mancano di proprietà cruciali, come il controllo incrementale - un requisito fondamentale per il lavoro artistico. Le mesh triangolari, d'altra parte, sono la rappresentazione preferita per la maggior parte delle attività legate alla geometria, offrendo efficienza e controllo intuitivo, ma non si prestano all'ottimizzazione neurale. Per supportare compiti a valle, le precedenti soluzioni propongono tipicamente un approccio in due fasi, in cui prima viene generata una forma utilizzando campi neurali, e poi viene estratta una mesh per ulteriori elaborazioni. In questo articolo, invece, introduciamo un approccio ibrido che mantiene sia una mesh che una rappresentazione di campo di distanza con segno (SDF) in modo coerente. Utilizzando questa rappresentazione, introduciamo MagicClay - uno strumento amichevole per artisti per scolpire regioni di una mesh in base a prompt testuali, mantenendo inalterate altre regioni. Il nostro framework bilancia attentamente ed efficientemente la coerenza tra le rappresentazioni e le regolarizzazioni in ogni fase dell'ottimizzazione della forma; basandoci sulla rappresentazione della mesh, mostriamo come renderizzare l'SDF a risoluzioni più elevate e più velocemente. Inoltre, impieghiamo lavori recenti nella ricostruzione differenziabile di mesh per allocare in modo adattivo i triangoli nella mesh dove necessario, come indicato dall'SDF. Utilizzando un prototipo implementato, dimostriamo una geometria generata superiore rispetto allo stato dell'arte, e un controllo coerente e innovativo, consentendo per la prima volta modifiche sequenziali basate su prompt alla stessa mesh.

English

The recent developments in neural fields have brought phenomenal capabilities to the field of shape generation, but they lack crucial properties, such as incremental control - a fundamental requirement for artistic work. Triangular meshes, on the other hand, are the representation of choice for most geometry related tasks, offering efficiency and intuitive control, but do not lend themselves to neural optimization. To support downstream tasks, previous art typically proposes a two-step approach, where first a shape is generated using neural fields, and then a mesh is extracted for further processing. Instead, in this paper we introduce a hybrid approach that maintains both a mesh and a Signed Distance Field (SDF) representations consistently. Using this representation, we introduce MagicClay - an artist friendly tool for sculpting regions of a mesh according to textual prompts while keeping other regions untouched. Our framework carefully and efficiently balances consistency between the representations and regularizations in every step of the shape optimization; Relying on the mesh representation, we show how to render the SDF at higher resolutions and faster. In addition, we employ recent work in differentiable mesh reconstruction to adaptively allocate triangles in the mesh where required, as indicated by the SDF. Using an implemented prototype, we demonstrate superior generated geometry compared to the state-of-the-art, and novel consistent control, allowing sequential prompt-based edits to the same mesh for the first time.