YouDream: Генерация анатомически управляемого последовательного текста в 3D-формате животных

YouDream: Generating Anatomically Controllable Consistent Text-to-3D Animals

June 24, 2024

Авторы: Sandeep Mishra, Oindrila Saha, Alan C. Bovik

cs.AI

Аннотация

Генерация 3D-моделей, управляемая моделями диффузии текст-изображение, позволяет создавать визуально привлекательные ресурсы. Однако предыдущие методы исследуют генерацию на основе изображения или текста. Границы творчества ограничены тем, что может быть выражено словами или изображениями, которые могут быть использованы. Мы представляем YouDream, метод генерации высококачественных анатомически управляемых животных. YouDream управляется с использованием модели диффузии текст-изображение, управляемой 2D-видами предварительной позы 3D. Наш метод генерирует 3D-животных, которые невозможно создать с использованием предыдущих методов генерации текста в 3D. Кроме того, наш метод способен сохранять анатомическую согласованность в созданных животных, область, в которой предыдущие подходы генерации текста в 3D часто испытывают затруднения. Более того, мы разработали полностью автоматизированный конвейер для генерации часто встречающихся животных. Чтобы избежать необходимости в человеческом вмешательстве для создания позы 3D, мы предлагаем мультиагентный LLM, который адаптирует позы из ограниченной библиотеки поз 3D животных для представления желаемого животного. Проведенное пользовательское исследование результатов YouDream демонстрирует предпочтение моделей животных, сгенерированных нашим методом, над другими. Результаты и код вращения доступны по адресу https://youdream3d.github.io/

English

3D generation guided by text-to-image diffusion models enables the creation of visually compelling assets. However previous methods explore generation based on image or text. The boundaries of creativity are limited by what can be expressed through words or the images that can be sourced. We present YouDream, a method to generate high-quality anatomically controllable animals. YouDream is guided using a text-to-image diffusion model controlled by 2D views of a 3D pose prior. Our method generates 3D animals that are not possible to create using previous text-to-3D generative methods. Additionally, our method is capable of preserving anatomic consistency in the generated animals, an area where prior text-to-3D approaches often struggle. Moreover, we design a fully automated pipeline for generating commonly found animals. To circumvent the need for human intervention to create a 3D pose, we propose a multi-agent LLM that adapts poses from a limited library of animal 3D poses to represent the desired animal. A user study conducted on the outcomes of YouDream demonstrates the preference of the animal models generated by our method over others. Turntable results and code are released at https://youdream3d.github.io/