YouDream: Generación de animales 3D anatómicamente controlables y consistentes a partir de texto

YouDream: Generating Anatomically Controllable Consistent Text-to-3D Animals

June 24, 2024

Autores: Sandeep Mishra, Oindrila Saha, Alan C. Bovik

cs.AI

Resumen

La generación 3D guiada por modelos de difusión de texto a imagen permite la creación de recursos visualmente atractivos. Sin embargo, métodos anteriores exploran la generación basada en imágenes o texto. Los límites de la creatividad están restringidos por lo que puede expresarse mediante palabras o las imágenes que pueden obtenerse. Presentamos YouDream, un método para generar animales de alta calidad con control anatómico. YouDream se guía utilizando un modelo de difusión de texto a imagen controlado por vistas 2D de una pose 3D previa. Nuestro método genera animales 3D que no son posibles de crear utilizando métodos generativos previos de texto a 3D. Además, nuestro método es capaz de preservar la consistencia anatómica en los animales generados, un área en la que los enfoques previos de texto a 3D suelen tener dificultades. Asimismo, diseñamos una canalización completamente automatizada para generar animales comúnmente encontrados. Para evitar la necesidad de intervención humana para crear una pose 3D, proponemos un modelo de lenguaje multiagente (LLM) que adapta poses de una biblioteca limitada de poses 3D de animales para representar el animal deseado. Un estudio de usuario realizado sobre los resultados de YouDream demuestra la preferencia por los modelos de animales generados por nuestro método sobre otros. Los resultados en formato giratorio y el código se publican en https://youdream3d.github.io/.

English

3D generation guided by text-to-image diffusion models enables the creation of visually compelling assets. However previous methods explore generation based on image or text. The boundaries of creativity are limited by what can be expressed through words or the images that can be sourced. We present YouDream, a method to generate high-quality anatomically controllable animals. YouDream is guided using a text-to-image diffusion model controlled by 2D views of a 3D pose prior. Our method generates 3D animals that are not possible to create using previous text-to-3D generative methods. Additionally, our method is capable of preserving anatomic consistency in the generated animals, an area where prior text-to-3D approaches often struggle. Moreover, we design a fully automated pipeline for generating commonly found animals. To circumvent the need for human intervention to create a 3D pose, we propose a multi-agent LLM that adapts poses from a limited library of animal 3D poses to represent the desired animal. A user study conducted on the outcomes of YouDream demonstrates the preference of the animal models generated by our method over others. Turntable results and code are released at https://youdream3d.github.io/