YouDream: 해부학적으로 제어 가능한 일관된 텍스트-3D 동물 생성
YouDream: Generating Anatomically Controllable Consistent Text-to-3D Animals
June 24, 2024
저자: Sandeep Mishra, Oindrila Saha, Alan C. Bovik
cs.AI
초록
텍스트-이미지 확산 모델을 기반으로 한 3D 생성은 시각적으로 매력적인 자산을 만들어낼 수 있게 합니다. 그러나 기존 방법들은 이미지나 텍스트를 기반으로 한 생성에 초점을 맞추고 있습니다. 이러한 방식은 단어로 표현할 수 있는 범위나 구할 수 있는 이미지에 의해 창의성의 한계가 제한됩니다. 우리는 YouDream을 제안하며, 이는 해부학적으로 제어 가능한 고품질 동물을 생성하는 방법입니다. YouDream은 3D 포즈 사전의 2D 뷰로 제어되는 텍스트-이미지 확산 모델을 사용하여 안내됩니다. 우리의 방법은 기존의 텍스트-3D 생성 방법으로는 만들 수 없는 3D 동물을 생성합니다. 또한, 우리의 방법은 생성된 동물의 해부학적 일관성을 유지할 수 있으며, 이는 기존의 텍스트-3D 접근 방식들이 종종 어려움을 겪는 부분입니다. 더 나아가, 우리는 일반적으로 발견되는 동물을 생성하기 위한 완전 자동화된 파이프라인을 설계했습니다. 3D 포즈를 생성하기 위해 인간의 개입이 필요하지 않도록, 우리는 제한된 동물 3D 포즈 라이브러리에서 원하는 동물을 표현하기 위해 포즈를 적응시키는 다중 에이전트 LLM을 제안합니다. YouDream의 결과에 대해 수행된 사용자 연구는 우리의 방법으로 생성된 동물 모델이 다른 방법들보다 선호된다는 것을 보여줍니다. 턴테이블 결과와 코드는 https://youdream3d.github.io/에서 공개되었습니다.
English
3D generation guided by text-to-image diffusion models enables the creation
of visually compelling assets. However previous methods explore generation
based on image or text. The boundaries of creativity are limited by what can be
expressed through words or the images that can be sourced. We present YouDream,
a method to generate high-quality anatomically controllable animals. YouDream
is guided using a text-to-image diffusion model controlled by 2D views of a 3D
pose prior. Our method generates 3D animals that are not possible to create
using previous text-to-3D generative methods. Additionally, our method is
capable of preserving anatomic consistency in the generated animals, an area
where prior text-to-3D approaches often struggle. Moreover, we design a fully
automated pipeline for generating commonly found animals. To circumvent the
need for human intervention to create a 3D pose, we propose a multi-agent LLM
that adapts poses from a limited library of animal 3D poses to represent the
desired animal. A user study conducted on the outcomes of YouDream demonstrates
the preference of the animal models generated by our method over others.
Turntable results and code are released at https://youdream3d.github.io/