YouDream: 解剖学的に制御可能な一貫性のあるテキストから3D動物生成

YouDream: Generating Anatomically Controllable Consistent Text-to-3D Animals

June 24, 2024

著者: Sandeep Mishra, Oindrila Saha, Alan C. Bovik

cs.AI

要旨

テキストから画像への拡散モデルに基づく3D生成は、視覚的に魅力的なアセットの作成を可能にする。しかし、従来の手法は画像やテキストに基づく生成を探求しており、創造性の境界は言葉で表現できる内容や入手可能な画像によって制限されている。本論文では、解剖学的に制御可能な高品質な動物を生成する手法であるYouDreamを提案する。YouDreamは、3Dポーズの事前情報に基づく2Dビューによって制御されるテキストから画像への拡散モデルを用いて導かれる。本手法は、従来のテキストから3Dへの生成手法では実現不可能な3D動物を生成する。さらに、本手法は生成された動物の解剖学的な一貫性を保持することが可能であり、これは従来のテキストから3Dへのアプローチがしばしば困難とする領域である。また、一般的に見られる動物を生成するための完全自動化されたパイプラインを設計した。3Dポーズを作成するための人的介入の必要性を回避するため、限られた動物3Dポーズのライブラリから目的の動物を表現するためのポーズを適応させるマルチエージェントLLMを提案する。YouDreamの結果に関するユーザスタディは、本手法によって生成された動物モデルが他の手法よりも好まれることを示している。ターンテーブル結果とコードはhttps://youdream3d.github.io/で公開されている。

English

3D generation guided by text-to-image diffusion models enables the creation of visually compelling assets. However previous methods explore generation based on image or text. The boundaries of creativity are limited by what can be expressed through words or the images that can be sourced. We present YouDream, a method to generate high-quality anatomically controllable animals. YouDream is guided using a text-to-image diffusion model controlled by 2D views of a 3D pose prior. Our method generates 3D animals that are not possible to create using previous text-to-3D generative methods. Additionally, our method is capable of preserving anatomic consistency in the generated animals, an area where prior text-to-3D approaches often struggle. Moreover, we design a fully automated pipeline for generating commonly found animals. To circumvent the need for human intervention to create a 3D pose, we propose a multi-agent LLM that adapts poses from a limited library of animal 3D poses to represent the desired animal. A user study conducted on the outcomes of YouDream demonstrates the preference of the animal models generated by our method over others. Turntable results and code are released at https://youdream3d.github.io/