MagicClay : Sculpture de maillages avec des champs neuronaux génératifs

MagicClay: Sculpting Meshes With Generative Neural Fields

March 4, 2024

Auteurs: Amir Barda, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix

cs.AI

Résumé

Les récents développements dans le domaine des champs neuronaux ont apporté des capacités phénoménales à la génération de formes, mais ils manquent de propriétés cruciales, telles que le contrôle incrémental - une exigence fondamentale pour le travail artistique. Les maillages triangulaires, en revanche, sont la représentation privilégiée pour la plupart des tâches liées à la géométrie, offrant efficacité et contrôle intuitif, mais ne se prêtent pas à l'optimisation neuronale. Pour soutenir les tâches en aval, les travaux précédents proposent généralement une approche en deux étapes, où une forme est d'abord générée à l'aide de champs neuronaux, puis un maillage est extrait pour un traitement ultérieur. À la place, dans cet article, nous introduisons une approche hybride qui maintient à la fois un maillage et une représentation de champ de distance signée (SDF) de manière cohérente. En utilisant cette représentation, nous présentons MagicClay - un outil convivial pour les artistes permettant de sculpter des régions d'un maillage selon des instructions textuelles tout en laissant d'autres régions intactes. Notre cadre équilibre soigneusement et efficacement la cohérence entre les représentations et les régularisations à chaque étape de l'optimisation de la forme ; En nous appuyant sur la représentation du maillage, nous montrons comment rendre le SDF à des résolutions plus élevées et plus rapidement. De plus, nous utilisons des travaux récents en reconstruction de maillage différentiable pour allouer de manière adaptative les triangles dans le maillage là où cela est nécessaire, tel qu'indiqué par le SDF. À l'aide d'un prototype implémenté, nous démontrons une géométrie générée supérieure à l'état de l'art, ainsi qu'un contrôle cohérent inédit, permettant pour la première fois des modifications séquentielles basées sur des instructions textuelles sur le même maillage.

English

The recent developments in neural fields have brought phenomenal capabilities to the field of shape generation, but they lack crucial properties, such as incremental control - a fundamental requirement for artistic work. Triangular meshes, on the other hand, are the representation of choice for most geometry related tasks, offering efficiency and intuitive control, but do not lend themselves to neural optimization. To support downstream tasks, previous art typically proposes a two-step approach, where first a shape is generated using neural fields, and then a mesh is extracted for further processing. Instead, in this paper we introduce a hybrid approach that maintains both a mesh and a Signed Distance Field (SDF) representations consistently. Using this representation, we introduce MagicClay - an artist friendly tool for sculpting regions of a mesh according to textual prompts while keeping other regions untouched. Our framework carefully and efficiently balances consistency between the representations and regularizations in every step of the shape optimization; Relying on the mesh representation, we show how to render the SDF at higher resolutions and faster. In addition, we employ recent work in differentiable mesh reconstruction to adaptively allocate triangles in the mesh where required, as indicated by the SDF. Using an implemented prototype, we demonstrate superior generated geometry compared to the state-of-the-art, and novel consistent control, allowing sequential prompt-based edits to the same mesh for the first time.