Compass Control: Controllo Multi-Orientamento Oggetti per la Generazione di Immagini da Testo

Compass Control: Multi Object Orientation Control for Text-to-Image Generation

April 9, 2025

Autori: Rishubh Parihar, Vaibhav Agrawal, Sachidanand VS, R. Venkatesh Babu

cs.AI

Abstract

Gli approcci esistenti per il controllo dei modelli di diffusione testo-immagine, sebbene potenti, non consentono un controllo esplicito e centrato sugli oggetti 3D, come il controllo preciso dell'orientamento degli oggetti. In questo lavoro, affrontiamo il problema del controllo dell'orientamento multi-oggetto nei modelli di diffusione testo-immagine. Ciò consente la generazione di scene multi-oggetto diversificate con un controllo preciso dell'orientamento per ciascun oggetto. L'idea chiave è condizionare il modello di diffusione con un insieme di token compasso orientati, uno per ogni oggetto, insieme ai token di testo. Una rete codificatrice leggera predice questi token compasso prendendo come input l'orientamento dell'oggetto. Il modello è addestrato su un dataset sintetico di scene generate proceduralmente, ciascuna contenente uno o due asset 3D su uno sfondo semplice. Tuttavia, l'addestramento diretto di questo framework risulta in un controllo scadente dell'orientamento e porta a un intreccio tra gli oggetti. Per mitigare ciò, interveniamo nel processo di generazione e vincoliamo le mappe di cross-attention di ciascun token compasso alle regioni corrispondenti dell'oggetto. Il modello addestrato è in grado di ottenere un controllo preciso dell'orientamento per a) oggetti complessi non visti durante l'addestramento e b) scene multi-oggetto con più di due oggetti, indicando forti capacità di generalizzazione. Inoltre, quando combinato con metodi di personalizzazione, il nostro metodo controlla con precisione l'orientamento del nuovo oggetto in contesti diversificati. Il nostro metodo raggiunge uno stato dell'arte nel controllo dell'orientamento e nell'allineamento del testo, quantificato con valutazioni estensive e uno studio utente.

English

Existing approaches for controlling text-to-image diffusion models, while powerful, do not allow for explicit 3D object-centric control, such as precise control of object orientation. In this work, we address the problem of multi-object orientation control in text-to-image diffusion models. This enables the generation of diverse multi-object scenes with precise orientation control for each object. The key idea is to condition the diffusion model with a set of orientation-aware compass tokens, one for each object, along with text tokens. A light-weight encoder network predicts these compass tokens taking object orientation as the input. The model is trained on a synthetic dataset of procedurally generated scenes, each containing one or two 3D assets on a plain background. However, direct training this framework results in poor orientation control as well as leads to entanglement among objects. To mitigate this, we intervene in the generation process and constrain the cross-attention maps of each compass token to its corresponding object regions. The trained model is able to achieve precise orientation control for a) complex objects not seen during training and b) multi-object scenes with more than two objects, indicating strong generalization capabilities. Further, when combined with personalization methods, our method precisely controls the orientation of the new object in diverse contexts. Our method achieves state-of-the-art orientation control and text alignment, quantified with extensive evaluations and a user study.