MagicClay: 생성적 신경 필드를 이용한 메시 조각 작업

초록

신경망 필드(neural fields)의 최근 발전은 형태 생성 분야에 놀라운 능력을 가져왔지만, 예술 작업에 필수적인 점진적 제어와 같은 중요한 속성이 부족합니다. 반면, 삼각형 메쉬(triangular meshes)는 대부분의 기하학 관련 작업에서 선호되는 표현 방식으로, 효율성과 직관적인 제어를 제공하지만 신경망 최적화에는 적합하지 않습니다. 다운스트림 작업을 지원하기 위해, 기존 연구에서는 일반적으로 두 단계 접근 방식을 제안합니다. 먼저 신경망 필드를 사용하여 형태를 생성한 다음, 추가 처리를 위해 메쉬를 추출하는 방식입니다. 이 논문에서는 대신 메쉬와 부호 거리 필드(Signed Distance Field, SDF) 표현을 일관되게 유지하는 하이브리드 접근 방식을 소개합니다. 이 표현 방식을 사용하여, 텍스트 프롬프트에 따라 메쉬의 특정 영역을 조각하는 동시에 다른 영역은 그대로 유지하는 예술가 친화적인 도구인 MagicClay를 소개합니다. 우리의 프레임워크는 형태 최적화의 각 단계에서 표현 간의 일관성과 정규화를 신중하고 효율적으로 균형 있게 조정합니다. 메쉬 표현에 의존하여, 우리는 SDF를 더 높은 해상도와 더 빠른 속도로 렌더링하는 방법을 보여줍니다. 또한, 미분 가능한 메쉬 재구성(differentiable mesh reconstruction)의 최근 연구를 활용하여, SDF가 지시하는 대로 필요한 곳에 삼각형을 적응적으로 할당합니다. 구현된 프로토타입을 사용하여, 우리는 최신 기술과 비교하여 우수한 생성 기하학을 보여주고, 동일한 메쉬에 대해 순차적인 프롬프트 기반 편집을 가능하게 하는 새로운 일관된 제어를 처음으로 시연합니다.

English

The recent developments in neural fields have brought phenomenal capabilities to the field of shape generation, but they lack crucial properties, such as incremental control - a fundamental requirement for artistic work. Triangular meshes, on the other hand, are the representation of choice for most geometry related tasks, offering efficiency and intuitive control, but do not lend themselves to neural optimization. To support downstream tasks, previous art typically proposes a two-step approach, where first a shape is generated using neural fields, and then a mesh is extracted for further processing. Instead, in this paper we introduce a hybrid approach that maintains both a mesh and a Signed Distance Field (SDF) representations consistently. Using this representation, we introduce MagicClay - an artist friendly tool for sculpting regions of a mesh according to textual prompts while keeping other regions untouched. Our framework carefully and efficiently balances consistency between the representations and regularizations in every step of the shape optimization; Relying on the mesh representation, we show how to render the SDF at higher resolutions and faster. In addition, we employ recent work in differentiable mesh reconstruction to adaptively allocate triangles in the mesh where required, as indicated by the SDF. Using an implemented prototype, we demonstrate superior generated geometry compared to the state-of-the-art, and novel consistent control, allowing sequential prompt-based edits to the same mesh for the first time.

MagicClay: 생성적 신경 필드를 이용한 메시 조각 작업

MagicClay: Sculpting Meshes With Generative Neural Fields

초록

Support