Точное управляемое генерация видео через внешний вид объектов и контекст

Fine-grained Controllable Video Generation via Object Appearance and Context

December 5, 2023

Авторы: Hsin-Ping Huang, Yu-Chuan Su, Deqing Sun, Lu Jiang, Xuhui Jia, Yukun Zhu, Ming-Hsuan Yang

cs.AI

Аннотация

Генерация видео по тексту демонстрирует многообещающие результаты. Однако, используя только естественный язык в качестве входных данных, пользователи часто сталкиваются с трудностями при предоставлении детальной информации для точного управления выходными данными модели. В данной работе мы предлагаем метод генерации видео с детализированным управлением (FACTOR), позволяющий достичь точного контроля. В частности, FACTOR направлен на управление внешним видом объектов и их контекстом, включая их местоположение и категорию, в сочетании с текстовым запросом. Для достижения детализированного контроля мы предлагаем унифицированную структуру, которая совместно внедряет управляющие сигналы в существующую модель генерации видео по тексту. Наша модель состоит из совместного кодировщика и адаптивных слоев кросс-внимания. Оптимизируя кодировщик и добавленные слои, мы адаптируем модель для генерации видео, которые соответствуют как текстовым запросам, так и детализированному управлению. В отличие от существующих методов, полагающихся на плотные управляющие сигналы, такие как карты границ, мы предоставляем более интуитивно понятный и удобный интерфейс, позволяющий осуществлять детализированный контроль на уровне объектов. Наш метод обеспечивает управляемость внешнего вида объектов без необходимости тонкой настройки, что снижает усилия пользователей по оптимизации для каждого объекта. Эксперименты на стандартных наборах данных и пользовательских входах подтверждают, что наша модель достигает улучшения на 70% по метрикам управляемости по сравнению с конкурирующими базовыми методами.

English

Text-to-video generation has shown promising results. However, by taking only natural languages as input, users often face difficulties in providing detailed information to precisely control the model's output. In this work, we propose fine-grained controllable video generation (FACTOR) to achieve detailed control. Specifically, FACTOR aims to control objects' appearances and context, including their location and category, in conjunction with the text prompt. To achieve detailed control, we propose a unified framework to jointly inject control signals into the existing text-to-video model. Our model consists of a joint encoder and adaptive cross-attention layers. By optimizing the encoder and the inserted layer, we adapt the model to generate videos that are aligned with both text prompts and fine-grained control. Compared to existing methods relying on dense control signals such as edge maps, we provide a more intuitive and user-friendly interface to allow object-level fine-grained control. Our method achieves controllability of object appearances without finetuning, which reduces the per-subject optimization efforts for the users. Extensive experiments on standard benchmark datasets and user-provided inputs validate that our model obtains a 70% improvement in controllability metrics over competitive baselines.