MagicClay: Esculpindo Malhas com Campos Neurais Generativos

MagicClay: Sculpting Meshes With Generative Neural Fields

March 4, 2024

Autores: Amir Barda, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix

cs.AI

Resumo

Os recentes avanços em campos neurais trouxeram capacidades fenomenais para o campo de geração de formas, mas eles carecem de propriedades cruciais, como controle incremental - um requisito fundamental para trabalhos artísticos. Malhas triangulares, por outro lado, são a representação preferida para a maioria das tarefas relacionadas à geometria, oferecendo eficiência e controle intuitivo, mas não se prestam bem à otimização neural. Para apoiar tarefas subsequentes, a arte anterior geralmente propõe uma abordagem em duas etapas, onde primeiro uma forma é gerada usando campos neurais, e então uma malha é extraída para processamento adicional. Em vez disso, neste artigo, introduzimos uma abordagem híbrida que mantém consistentemente tanto uma malha quanto uma representação de Campo de Distância Assinada (SDF). Usando essa representação, apresentamos o MagicClay - uma ferramenta amigável para artistas que permite esculpir regiões de uma malha de acordo com prompts textuais, mantendo outras regiões intocadas. Nosso framework equilibra cuidadosamente e de forma eficiente a consistência entre as representações e regularizações em cada etapa da otimização da forma; Com base na representação da malha, mostramos como renderizar o SDF em resoluções mais altas e de forma mais rápida. Além disso, empregamos trabalhos recentes em reconstrução de malhas diferenciáveis para alocar triângulos na malha de forma adaptativa onde necessário, conforme indicado pelo SDF. Usando um protótipo implementado, demonstramos geometria gerada superior em comparação com o estado da arte, e um controle consistente inédito, permitindo edições sequenciais baseadas em prompts na mesma malha pela primeira vez.

English

The recent developments in neural fields have brought phenomenal capabilities to the field of shape generation, but they lack crucial properties, such as incremental control - a fundamental requirement for artistic work. Triangular meshes, on the other hand, are the representation of choice for most geometry related tasks, offering efficiency and intuitive control, but do not lend themselves to neural optimization. To support downstream tasks, previous art typically proposes a two-step approach, where first a shape is generated using neural fields, and then a mesh is extracted for further processing. Instead, in this paper we introduce a hybrid approach that maintains both a mesh and a Signed Distance Field (SDF) representations consistently. Using this representation, we introduce MagicClay - an artist friendly tool for sculpting regions of a mesh according to textual prompts while keeping other regions untouched. Our framework carefully and efficiently balances consistency between the representations and regularizations in every step of the shape optimization; Relying on the mesh representation, we show how to render the SDF at higher resolutions and faster. In addition, we employ recent work in differentiable mesh reconstruction to adaptively allocate triangles in the mesh where required, as indicated by the SDF. Using an implemented prototype, we demonstrate superior generated geometry compared to the state-of-the-art, and novel consistent control, allowing sequential prompt-based edits to the same mesh for the first time.