TraDiffusion: Генерация изображений без обучения на основе траекторий

TraDiffusion: Trajectory-Based Training-Free Image Generation

August 19, 2024

Авторы: Mingrui Wu, Oucheng Huang, Jiayi Ji, Jiale Li, Xinyue Cai, Huafeng Kuang, Jianzhuang Liu, Xiaoshuai Sun, Rongrong Ji

cs.AI

Аннотация

В данной работе мы предлагаем подход к обучению без тренировки, основанный на траекториях и управляемый, названный TraDiffusion. Этот новаторский метод позволяет пользователям легко направлять генерацию изображений с помощью траекторий мыши. Для достижения точного управления мы разрабатываем функцию энергии осведомленности о расстоянии для эффективного управления латентными переменными, обеспечивая фокусировку генерации в областях, определенных траекторией. Функция энергии включает в себя управляющую функцию для приведения генерации ближе к указанной траектории и функцию движения для уменьшения активности в областях, удаленных от траектории. Через обширные эксперименты и качественные оценки на наборе данных COCO результаты показывают, что TraDiffusion облегчает более простое и естественное управление изображениями. Более того, он демонстрирует способность манипулировать выдающимися областями, атрибутами и отношениями в сгенерированных изображениях, на основе визуального ввода на произвольных или улучшенных траекториях.

English

In this work, we propose a training-free, trajectory-based controllable T2I approach, termed TraDiffusion. This novel method allows users to effortlessly guide image generation via mouse trajectories. To achieve precise control, we design a distance awareness energy function to effectively guide latent variables, ensuring that the focus of generation is within the areas defined by the trajectory. The energy function encompasses a control function to draw the generation closer to the specified trajectory and a movement function to diminish activity in areas distant from the trajectory. Through extensive experiments and qualitative assessments on the COCO dataset, the results reveal that TraDiffusion facilitates simpler, more natural image control. Moreover, it showcases the ability to manipulate salient regions, attributes, and relationships within the generated images, alongside visual input based on arbitrary or enhanced trajectories.