MagicClay: 生成ニューラルフィールドを用いたメッシュの彫刻

MagicClay: Sculpting Meshes With Generative Neural Fields

March 4, 2024

著者: Amir Barda, Vladimir G. Kim, Noam Aigerman, Amit H. Bermano, Thibault Groueix

cs.AI

要旨

ニューラルフィールドの最近の進展は、形状生成の分野に驚異的な能力をもたらしましたが、芸術的作業における基本的な要件である段階的制御といった重要な特性が欠けています。一方、三角形メッシュは、ほとんどの幾何学関連タスクにおいて選択される表現であり、効率性と直感的な制御を提供しますが、ニューラル最適化には適していません。下流タスクをサポートするために、従来の技術では通常、まずニューラルフィールドを使用して形状を生成し、その後メッシュを抽出してさらなる処理を行うという2段階のアプローチを提案しています。本論文では、代わりに、メッシュと符号付き距離場（SDF）の表現を一貫して維持するハイブリッドアプローチを紹介します。この表現を使用して、テキストプロンプトに従ってメッシュの領域を彫刻しつつ、他の領域を変更しないアーティストフレンドリーなツールであるMagicClayを導入します。私たちのフレームワークは、形状最適化の各ステップにおいて、表現間の一貫性と正則化を慎重かつ効率的にバランスさせます。メッシュ表現に依存して、SDFをより高解像度で高速にレンダリングする方法を示します。さらに、微分可能なメッシュ再構築に関する最近の研究を活用し、SDFによって示される必要に応じてメッシュ内の三角形を適応的に割り当てます。実装されたプロトタイプを使用して、最先端技術と比較して優れた生成ジオメトリと、同じメッシュに対して初めてシーケンシャルなプロンプトベースの編集を可能にする新規の一貫した制御を実証します。

English

The recent developments in neural fields have brought phenomenal capabilities to the field of shape generation, but they lack crucial properties, such as incremental control - a fundamental requirement for artistic work. Triangular meshes, on the other hand, are the representation of choice for most geometry related tasks, offering efficiency and intuitive control, but do not lend themselves to neural optimization. To support downstream tasks, previous art typically proposes a two-step approach, where first a shape is generated using neural fields, and then a mesh is extracted for further processing. Instead, in this paper we introduce a hybrid approach that maintains both a mesh and a Signed Distance Field (SDF) representations consistently. Using this representation, we introduce MagicClay - an artist friendly tool for sculpting regions of a mesh according to textual prompts while keeping other regions untouched. Our framework carefully and efficiently balances consistency between the representations and regularizations in every step of the shape optimization; Relying on the mesh representation, we show how to render the SDF at higher resolutions and faster. In addition, we employ recent work in differentiable mesh reconstruction to adaptively allocate triangles in the mesh where required, as indicated by the SDF. Using an implemented prototype, we demonstrate superior generated geometry compared to the state-of-the-art, and novel consistent control, allowing sequential prompt-based edits to the same mesh for the first time.