Compass Control: Controle de Orientação Multiobjeto para Geração de Texto para Imagem

Compass Control: Multi Object Orientation Control for Text-to-Image Generation

April 9, 2025

Autores: Rishubh Parihar, Vaibhav Agrawal, Sachidanand VS, R. Venkatesh Babu

cs.AI

Resumo

As abordagens existentes para controlar modelos de difusão de texto para imagem, embora poderosas, não permitem um controle explícito centrado em objetos 3D, como o controle preciso da orientação do objeto. Neste trabalho, abordamos o problema do controle de orientação de múltiplos objetos em modelos de difusão de texto para imagem. Isso possibilita a geração de cenas diversas com múltiplos objetos, com controle preciso da orientação de cada objeto. A ideia principal é condicionar o modelo de difusão com um conjunto de tokens de bússola conscientes da orientação, um para cada objeto, juntamente com tokens de texto. Uma rede codificadora leve prevê esses tokens de bússola, tomando a orientação do objeto como entrada. O modelo é treinado em um conjunto de dados sintético de cenas geradas proceduralmente, cada uma contendo um ou dois ativos 3D em um fundo simples. No entanto, o treinamento direto dessa estrutura resulta em um controle de orientação deficiente, além de levar ao entrelaçamento entre os objetos. Para mitigar isso, intervimos no processo de geração e restringimos os mapas de atenção cruzada de cada token de bússola às regiões correspondentes do objeto. O modelo treinado é capaz de alcançar um controle de orientação preciso para a) objetos complexos não vistos durante o treinamento e b) cenas com múltiplos objetos contendo mais de dois objetos, indicando fortes capacidades de generalização. Além disso, quando combinado com métodos de personalização, nosso método controla com precisão a orientação do novo objeto em diversos contextos. Nosso método alcança o estado da arte em controle de orientação e alinhamento de texto, quantificado com avaliações extensivas e um estudo com usuários.

English

Existing approaches for controlling text-to-image diffusion models, while powerful, do not allow for explicit 3D object-centric control, such as precise control of object orientation. In this work, we address the problem of multi-object orientation control in text-to-image diffusion models. This enables the generation of diverse multi-object scenes with precise orientation control for each object. The key idea is to condition the diffusion model with a set of orientation-aware compass tokens, one for each object, along with text tokens. A light-weight encoder network predicts these compass tokens taking object orientation as the input. The model is trained on a synthetic dataset of procedurally generated scenes, each containing one or two 3D assets on a plain background. However, direct training this framework results in poor orientation control as well as leads to entanglement among objects. To mitigate this, we intervene in the generation process and constrain the cross-attention maps of each compass token to its corresponding object regions. The trained model is able to achieve precise orientation control for a) complex objects not seen during training and b) multi-object scenes with more than two objects, indicating strong generalization capabilities. Further, when combined with personalization methods, our method precisely controls the orientation of the new object in diverse contexts. Our method achieves state-of-the-art orientation control and text alignment, quantified with extensive evaluations and a user study.