Contrôle Compass : Contrôle d'Orientation Multi-Objets pour la Génération d'Images à partir de Texte

Compass Control: Multi Object Orientation Control for Text-to-Image Generation

April 9, 2025

Auteurs: Rishubh Parihar, Vaibhav Agrawal, Sachidanand VS, R. Venkatesh Babu

cs.AI

Résumé

Les approches existantes pour contrôler les modèles de diffusion texte-image, bien que puissantes, ne permettent pas un contrôle explicite centré sur des objets 3D, tel qu'un contrôle précis de l'orientation des objets. Dans ce travail, nous abordons le problème du contrôle de l'orientation multi-objets dans les modèles de diffusion texte-image. Cela permet la génération de scènes multi-objets variées avec un contrôle précis de l'orientation pour chaque objet. L'idée clé est de conditionner le modèle de diffusion avec un ensemble de tokens de boussole sensibles à l'orientation, un pour chaque objet, ainsi que des tokens de texte. Un réseau encodeur léger prédit ces tokens de boussole en prenant l'orientation de l'objet comme entrée. Le modèle est entraîné sur un ensemble de données synthétiques de scènes générées de manière procédurale, chacune contenant un ou deux objets 3D sur un fond uni. Cependant, un entraînement direct de ce cadre entraîne un mauvais contrôle de l'orientation ainsi qu'un enchevêtrement entre les objets. Pour atténuer cela, nous intervenons dans le processus de génération et contraignons les cartes d'attention croisée de chaque token de boussole aux régions correspondant à son objet. Le modèle entraîné est capable d'atteindre un contrôle précis de l'orientation pour a) des objets complexes non vus pendant l'entraînement et b) des scènes multi-objets avec plus de deux objets, indiquant de fortes capacités de généralisation. De plus, lorsqu'il est combiné avec des méthodes de personnalisation, notre méthode contrôle précisément l'orientation du nouvel objet dans divers contextes. Notre méthode atteint un contrôle d'orientation et un alignement texte de pointe, quantifiés par des évaluations approfondies et une étude utilisateur.

English

Existing approaches for controlling text-to-image diffusion models, while powerful, do not allow for explicit 3D object-centric control, such as precise control of object orientation. In this work, we address the problem of multi-object orientation control in text-to-image diffusion models. This enables the generation of diverse multi-object scenes with precise orientation control for each object. The key idea is to condition the diffusion model with a set of orientation-aware compass tokens, one for each object, along with text tokens. A light-weight encoder network predicts these compass tokens taking object orientation as the input. The model is trained on a synthetic dataset of procedurally generated scenes, each containing one or two 3D assets on a plain background. However, direct training this framework results in poor orientation control as well as leads to entanglement among objects. To mitigate this, we intervene in the generation process and constrain the cross-attention maps of each compass token to its corresponding object regions. The trained model is able to achieve precise orientation control for a) complex objects not seen during training and b) multi-object scenes with more than two objects, indicating strong generalization capabilities. Further, when combined with personalization methods, our method precisely controls the orientation of the new object in diverse contexts. Our method achieves state-of-the-art orientation control and text alignment, quantified with extensive evaluations and a user study.