Aprendizaje de Palabras 3D Continuas para la Generación de Texto a Imagen
Learning Continuous 3D Words for Text-to-Image Generation
February 13, 2024
Autores: Ta-Ying Cheng, Matheus Gadelha, Thibault Groueix, Matthew Fisher, Radomir Mech, Andrew Markham, Niki Trigoni
cs.AI
Resumen
Los controles actuales sobre los modelos de difusión (por ejemplo, a través de texto o ControlNet) para la generación de imágenes no logran reconocer atributos abstractos y continuos, como la dirección de la iluminación o los cambios de forma no rígidos. En este artículo, presentamos un enfoque que permite a los usuarios de modelos de texto a imagen tener un control detallado de varios atributos en una imagen. Esto lo logramos diseñando conjuntos especiales de tokens de entrada que pueden transformarse de manera continua, a los que llamamos Palabras 3D Continuas. Estos atributos pueden, por ejemplo, representarse como controles deslizantes y aplicarse junto con indicaciones de texto para un control preciso sobre la generación de imágenes. Utilizando solo una malla y un motor de renderizado, demostramos que nuestro enfoque puede adoptarse para proporcionar un control continuo del usuario sobre varios atributos conscientes de la 3D, como la iluminación según la hora del día, la orientación de las alas de un pájaro, el efecto dollyzoom y las poses de objetos. Nuestro método es capaz de condicionar la creación de imágenes con múltiples Palabras 3D Continuas y descripciones de texto simultáneamente, sin añadir sobrecarga al proceso generativo. Página del proyecto: https://ttchengab.github.io/continuous_3d_words
English
Current controls over diffusion models (e.g., through text or ControlNet) for
image generation fall short in recognizing abstract, continuous attributes like
illumination direction or non-rigid shape change. In this paper, we present an
approach for allowing users of text-to-image models to have fine-grained
control of several attributes in an image. We do this by engineering special
sets of input tokens that can be transformed in a continuous manner -- we call
them Continuous 3D Words. These attributes can, for example, be represented as
sliders and applied jointly with text prompts for fine-grained control over
image generation. Given only a single mesh and a rendering engine, we show that
our approach can be adopted to provide continuous user control over several
3D-aware attributes, including time-of-day illumination, bird wing orientation,
dollyzoom effect, and object poses. Our method is capable of conditioning image
creation with multiple Continuous 3D Words and text descriptions simultaneously
while adding no overhead to the generative process. Project Page:
https://ttchengab.github.io/continuous_3d_words