MagicClay: Esculpir mallas con campos neuronales generativos

MagicClay: Sculpting Meshes With Generative Neural Fields

March 4, 2024

Autores: Amir Barda, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix

cs.AI

Resumen

Los recientes avances en los campos neuronales han aportado capacidades fenomenales al campo de la generación de formas, pero carecen de propiedades cruciales, como el control incremental, un requisito fundamental para el trabajo artístico. Por otro lado, las mallas triangulares son la representación preferida para la mayoría de las tareas relacionadas con la geometría, ofreciendo eficiencia y control intuitivo, pero no se prestan fácilmente a la optimización neuronal. Para respaldar tareas posteriores, el arte previo suele proponer un enfoque de dos pasos, donde primero se genera una forma utilizando campos neuronales y luego se extrae una malla para su posterior procesamiento. En cambio, en este artículo presentamos un enfoque híbrido que mantiene consistentemente tanto una malla como una representación de Campo de Distancia con Signo (SDF, por sus siglas en inglés). Utilizando esta representación, introducimos MagicClay, una herramienta amigable para artistas que permite esculpir regiones de una malla según indicaciones textuales mientras se mantienen intactas otras regiones. Nuestro marco equilibra cuidadosa y eficientemente la consistencia entre las representaciones y las regularizaciones en cada paso de la optimización de la forma; basándonos en la representación de la malla, mostramos cómo renderizar el SDF a resoluciones más altas y de manera más rápida. Además, empleamos trabajos recientes en reconstrucción diferenciable de mallas para asignar triángulos de manera adaptativa en la malla donde sea necesario, según lo indique el SDF. Utilizando un prototipo implementado, demostramos una geometría generada superior en comparación con el estado del arte, y un control consistente novedoso, permitiendo por primera vez ediciones secuenciales basadas en indicaciones textuales sobre la misma malla.

English

The recent developments in neural fields have brought phenomenal capabilities to the field of shape generation, but they lack crucial properties, such as incremental control - a fundamental requirement for artistic work. Triangular meshes, on the other hand, are the representation of choice for most geometry related tasks, offering efficiency and intuitive control, but do not lend themselves to neural optimization. To support downstream tasks, previous art typically proposes a two-step approach, where first a shape is generated using neural fields, and then a mesh is extracted for further processing. Instead, in this paper we introduce a hybrid approach that maintains both a mesh and a Signed Distance Field (SDF) representations consistently. Using this representation, we introduce MagicClay - an artist friendly tool for sculpting regions of a mesh according to textual prompts while keeping other regions untouched. Our framework carefully and efficiently balances consistency between the representations and regularizations in every step of the shape optimization; Relying on the mesh representation, we show how to render the SDF at higher resolutions and faster. In addition, we employ recent work in differentiable mesh reconstruction to adaptively allocate triangles in the mesh where required, as indicated by the SDF. Using an implemented prototype, we demonstrate superior generated geometry compared to the state-of-the-art, and novel consistent control, allowing sequential prompt-based edits to the same mesh for the first time.