Обучение непрерывных 3D-слов для генерации изображений из текста

Learning Continuous 3D Words for Text-to-Image Generation

February 13, 2024

Авторы: Ta-Ying Cheng, Matheus Gadelha, Thibault Groueix, Matthew Fisher, Radomir Mech, Andrew Markham, Niki Trigoni

cs.AI

Аннотация

Современные методы управления моделями диффузии (например, через текст или ControlNet) для генерации изображений недостаточно эффективны в распознавании абстрактных, непрерывных атрибутов, таких как направление освещения или нежесткие изменения формы. В данной статье мы представляем подход, который позволяет пользователям текстово-графических моделей осуществлять детализированный контроль над несколькими атрибутами изображения. Мы достигаем этого путем разработки специальных наборов входных токенов, которые могут быть преобразованы непрерывным образом — мы называем их Непрерывными 3D-словами. Эти атрибуты могут быть представлены, например, в виде ползунков и применяться совместно с текстовыми запросами для точного управления процессом генерации изображений. Используя только одну сетку и движок рендеринга, мы демонстрируем, что наш подход может быть адаптирован для обеспечения непрерывного пользовательского контроля над несколькими 3D-атрибутами, включая освещение в зависимости от времени суток, ориентацию крыльев птицы, эффект доли-зума и позы объектов. Наш метод способен одновременно учитывать несколько Непрерывных 3D-слов и текстовых описаний при создании изображений, не добавляя дополнительной нагрузки на процесс генерации. Страница проекта: https://ttchengab.github.io/continuous_3d_words

English

Current controls over diffusion models (e.g., through text or ControlNet) for image generation fall short in recognizing abstract, continuous attributes like illumination direction or non-rigid shape change. In this paper, we present an approach for allowing users of text-to-image models to have fine-grained control of several attributes in an image. We do this by engineering special sets of input tokens that can be transformed in a continuous manner -- we call them Continuous 3D Words. These attributes can, for example, be represented as sliders and applied jointly with text prompts for fine-grained control over image generation. Given only a single mesh and a rendering engine, we show that our approach can be adopted to provide continuous user control over several 3D-aware attributes, including time-of-day illumination, bird wing orientation, dollyzoom effect, and object poses. Our method is capable of conditioning image creation with multiple Continuous 3D Words and text descriptions simultaneously while adding no overhead to the generative process. Project Page: https://ttchengab.github.io/continuous_3d_words