Repaint123: プログレッシブで制御可能な2Dリペイントによる高速かつ高品質な単一画像からの3D生成

要旨

最近の単一画像から3Dを生成する手法では、スコア蒸留サンプリング（SDS）が一般的に採用されています。印象的な結果が得られる一方で、多視点の不整合、過飽和および過平滑化されたテクスチャ、生成速度の遅さなど、複数の欠点が存在します。これらの欠点に対処するため、我々はRepaint123を提案し、多視点バイアスの軽減、テクスチャの劣化の改善、および生成プロセスの高速化を実現します。コアとなるアイデアは、2D拡散モデルの強力な画像生成能力と、再描画戦略のテクスチャ整合能力を組み合わせることで、一貫性のある高品質な多視点画像を生成することです。さらに、再描画プロセスにおける生成画像の品質を向上させるため、オーバーラップ領域に対する可視性を考慮した適応的な再描画強度を提案します。生成された高品質で多視点一貫性のある画像により、単純な平均二乗誤差（MSE）損失を用いた高速な3Dコンテンツ生成が可能となります。我々は広範な実験を行い、本手法が多視点一貫性と細かいテクスチャを備えた高品質な3Dコンテンツを2分間でゼロから生成する優れた能力を持つことを示します。コードはhttps://github.com/junwuzhang19/repaint123にあります。

English

Recent one image to 3D generation methods commonly adopt Score Distillation Sampling (SDS). Despite the impressive results, there are multiple deficiencies including multi-view inconsistency, over-saturated and over-smoothed textures, as well as the slow generation speed. To address these deficiencies, we present Repaint123 to alleviate multi-view bias as well as texture degradation and speed up the generation process. The core idea is to combine the powerful image generation capability of the 2D diffusion model and the texture alignment ability of the repainting strategy for generating high-quality multi-view images with consistency. We further propose visibility-aware adaptive repainting strength for overlap regions to enhance the generated image quality in the repainting process. The generated high-quality and multi-view consistent images enable the use of simple Mean Square Error (MSE) loss for fast 3D content generation. We conduct extensive experiments and show that our method has a superior ability to generate high-quality 3D content with multi-view consistency and fine textures in 2 minutes from scratch. Code is at https://github.com/junwuzhang19/repaint123.

Repaint123: プログレッシブで制御可能な2Dリペイントによる高速かつ高品質な単一画像からの3D生成

Repaint123: Fast and High-quality One Image to 3D Generation with Progressive Controllable 2D Repainting

要旨

Support