Compass Control: Multi-objectoriëntatiecontrole voor tekst-naar-beeldgeneratie

Compass Control: Multi Object Orientation Control for Text-to-Image Generation

April 9, 2025

Auteurs: Rishubh Parihar, Vaibhav Agrawal, Sachidanand VS, R. Venkatesh Babu

cs.AI

Samenvatting

Bestaande benaderingen voor het beheersen van tekst-naar-beeld diffusiemodellen, hoewel krachtig, bieden geen expliciete 3D objectgerichte controle, zoals precieze controle over de oriëntatie van objecten. In dit werk pakken we het probleem aan van multi-object oriëntatiecontrole in tekst-naar-beeld diffusiemodellen. Dit maakt het mogelijk om diverse multi-object scènes te genereren met precieze oriëntatiecontrole voor elk object. Het kernidee is om het diffusiemodel te conditioneren met een set oriëntatiebewuste kompastokens, één voor elk object, samen met teksttokens. Een lichtgewicht encoder-netwerk voorspelt deze kompastokens op basis van de objectoriëntatie als invoer. Het model wordt getraind op een synthetische dataset van procedureel gegenereerde scènes, elk met één of twee 3D-assets op een effen achtergrond. Directe training van dit framework resulteert echter in slechte oriëntatiecontrole en leidt tot verstrengeling tussen objecten. Om dit te verhelpen, grijpen we in tijdens het generatieproces en beperken we de cross-attention maps van elke kompastoken tot de corresponderende objectregio's. Het getrainde model is in staat om precieze oriëntatiecontrole te bereiken voor a) complexe objecten die niet tijdens de training zijn gezien en b) multi-object scènes met meer dan twee objecten, wat wijst op sterke generalisatiecapaciteiten. Bovendien, wanneer gecombineerd met personalisatiemethoden, controleert onze methode precies de oriëntatie van het nieuwe object in diverse contexten. Onze methode bereikt state-of-the-art oriëntatiecontrole en tekstafstemming, gekwantificeerd met uitgebreide evaluaties en een gebruikersstudie.

English

Existing approaches for controlling text-to-image diffusion models, while powerful, do not allow for explicit 3D object-centric control, such as precise control of object orientation. In this work, we address the problem of multi-object orientation control in text-to-image diffusion models. This enables the generation of diverse multi-object scenes with precise orientation control for each object. The key idea is to condition the diffusion model with a set of orientation-aware compass tokens, one for each object, along with text tokens. A light-weight encoder network predicts these compass tokens taking object orientation as the input. The model is trained on a synthetic dataset of procedurally generated scenes, each containing one or two 3D assets on a plain background. However, direct training this framework results in poor orientation control as well as leads to entanglement among objects. To mitigate this, we intervene in the generation process and constrain the cross-attention maps of each compass token to its corresponding object regions. The trained model is able to achieve precise orientation control for a) complex objects not seen during training and b) multi-object scenes with more than two objects, indicating strong generalization capabilities. Further, when combined with personalization methods, our method precisely controls the orientation of the new object in diverse contexts. Our method achieves state-of-the-art orientation control and text alignment, quantified with extensive evaluations and a user study.