Управление Compass: Многообъектное управление ориентацией для генерации изображений из текста

Compass Control: Multi Object Orientation Control for Text-to-Image Generation

April 9, 2025

Авторы: Rishubh Parihar, Vaibhav Agrawal, Sachidanand VS, R. Venkatesh Babu

cs.AI

Аннотация

Существующие подходы к управлению моделями диффузии для генерации изображений из текста, хотя и мощные, не позволяют осуществлять явный объектно-ориентированный контроль в 3D, такой как точное управление ориентацией объектов. В данной работе мы решаем задачу управления ориентацией множества объектов в моделях диффузии для генерации изображений из текста. Это позволяет создавать разнообразные сцены с несколькими объектами, обеспечивая точный контроль ориентации для каждого из них. Основная идея заключается в том, чтобы дополнить модель диффузии набором ориентационно-зависимых токенов-компасов, по одному для каждого объекта, наряду с текстовыми токенами. Легковесная кодирующая сеть предсказывает эти токены-компасы, принимая на вход ориентацию объекта. Модель обучается на синтетическом наборе данных, состоящем из процедурно сгенерированных сцен, каждая из которых содержит один или два 3D-объекта на простом фоне. Однако прямое обучение такой системы приводит к слабому контролю ориентации и запутыванию объектов. Чтобы устранить это, мы вмешиваемся в процесс генерации и ограничиваем карты кросс-внимания каждого токена-компаса соответствующими областями объектов. Обученная модель способна достичь точного контроля ориентации для а) сложных объектов, не встречавшихся во время обучения, и б) сцен с несколькими объектами, включая более двух объектов, что свидетельствует о сильных обобщающих способностях. Кроме того, при сочетании с методами персонализации наш метод точно контролирует ориентацию нового объекта в различных контекстах. Наш метод демонстрирует передовые результаты в контроле ориентации и согласовании с текстом, что подтверждается обширными оценками и пользовательским исследованием.

English

Existing approaches for controlling text-to-image diffusion models, while powerful, do not allow for explicit 3D object-centric control, such as precise control of object orientation. In this work, we address the problem of multi-object orientation control in text-to-image diffusion models. This enables the generation of diverse multi-object scenes with precise orientation control for each object. The key idea is to condition the diffusion model with a set of orientation-aware compass tokens, one for each object, along with text tokens. A light-weight encoder network predicts these compass tokens taking object orientation as the input. The model is trained on a synthetic dataset of procedurally generated scenes, each containing one or two 3D assets on a plain background. However, direct training this framework results in poor orientation control as well as leads to entanglement among objects. To mitigate this, we intervene in the generation process and constrain the cross-attention maps of each compass token to its corresponding object regions. The trained model is able to achieve precise orientation control for a) complex objects not seen during training and b) multi-object scenes with more than two objects, indicating strong generalization capabilities. Further, when combined with personalization methods, our method precisely controls the orientation of the new object in diverse contexts. Our method achieves state-of-the-art orientation control and text alignment, quantified with extensive evaluations and a user study.