ImageDream: 3D生成のための画像プロンプト多視点拡散モデル
ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation
December 2, 2023
著者: Peng Wang, Yichun Shi
cs.AI
要旨
「ImageDream」を紹介します。これは、3Dオブジェクト生成のための革新的な画像プロンプト・マルチビューディフュージョンモデルです。ImageDreamは、既存の最先端の画像条件付き手法と比較して、より高品質な3Dモデルを生成する能力で際立っています。私たちのアプローチでは、画像内のオブジェクトに対して正準カメラ座標系を利用し、視覚的な幾何学の精度を向上させています。このモデルは、入力画像に基づいてディフュージョンモデル内の各ブロックでさまざまなレベルの制御を可能にするように設計されており、グローバル制御はオブジェクト全体のレイアウトを形作り、ローカル制御は画像の詳細を微調整します。ImageDreamの有効性は、標準プロンプトリストを使用した広範な評価を通じて実証されています。詳細については、プロジェクトページ（https://Image-Dream.github.io）をご覧ください。
English
We introduce "ImageDream," an innovative image-prompt, multi-view diffusion
model for 3D object generation. ImageDream stands out for its ability to
produce 3D models of higher quality compared to existing state-of-the-art,
image-conditioned methods. Our approach utilizes a canonical camera
coordination for the objects in images, improving visual geometry accuracy. The
model is designed with various levels of control at each block inside the
diffusion model based on the input image, where global control shapes the
overall object layout and local control fine-tunes the image details. The
effectiveness of ImageDream is demonstrated through extensive evaluations using
a standard prompt list. For more information, visit our project page at
https://Image-Dream.github.io.