Aprendendo Palavras 3D Contínuas para Geração de Texto em Imagem
Learning Continuous 3D Words for Text-to-Image Generation
February 13, 2024
Autores: Ta-Ying Cheng, Matheus Gadelha, Thibault Groueix, Matthew Fisher, Radomir Mech, Andrew Markham, Niki Trigoni
cs.AI
Resumo
Os controles atuais sobre modelos de difusão (por exemplo, através de texto ou ControlNet) para geração de imagens são insuficientes para reconhecer atributos abstratos e contínuos, como a direção da iluminação ou mudanças de forma não rígidas. Neste artigo, apresentamos uma abordagem que permite aos usuários de modelos de texto para imagem ter controle refinado sobre vários atributos em uma imagem. Isso é feito através da engenharia de conjuntos especiais de tokens de entrada que podem ser transformados de maneira contínua — os chamamos de Palavras 3D Contínuas. Esses atributos podem, por exemplo, ser representados como controles deslizantes e aplicados em conjunto com prompts de texto para um controle refinado sobre a geração de imagens. Dado apenas um único mesh e um motor de renderização, mostramos que nossa abordagem pode ser adotada para fornecer controle contínuo do usuário sobre vários atributos 3D, incluindo iluminação ao longo do dia, orientação das asas de um pássaro, efeito dollyzoom e poses de objetos. Nosso método é capaz de condicionar a criação de imagens com múltiplas Palavras 3D Contínuas e descrições de texto simultaneamente, sem adicionar sobrecarga ao processo generativo. Página do Projeto: https://ttchengab.github.io/continuous_3d_words
English
Current controls over diffusion models (e.g., through text or ControlNet) for
image generation fall short in recognizing abstract, continuous attributes like
illumination direction or non-rigid shape change. In this paper, we present an
approach for allowing users of text-to-image models to have fine-grained
control of several attributes in an image. We do this by engineering special
sets of input tokens that can be transformed in a continuous manner -- we call
them Continuous 3D Words. These attributes can, for example, be represented as
sliders and applied jointly with text prompts for fine-grained control over
image generation. Given only a single mesh and a rendering engine, we show that
our approach can be adopted to provide continuous user control over several
3D-aware attributes, including time-of-day illumination, bird wing orientation,
dollyzoom effect, and object poses. Our method is capable of conditioning image
creation with multiple Continuous 3D Words and text descriptions simultaneously
while adding no overhead to the generative process. Project Page:
https://ttchengab.github.io/continuous_3d_words