Очерчивая будущее (STF): Применение методов условного управления в моделях преобразования текста в видео

Sketching the Future (STF): Applying Conditional Control Techniques to Text-to-Video Models

May 10, 2023

Авторы: Rohan Dhesikan, Vignesh Rajmohan

cs.AI

Аннотация

Распространение видеоконтента требует эффективных и гибких подходов на основе нейронных сетей для генерации нового видеоматериала. В данной статье мы предлагаем новый метод, который сочетает генерацию видео из текста в режиме zero-shot с использованием ControlNet для улучшения результатов работы таких моделей. Наш метод принимает на вход несколько набросков кадров и генерирует видеоряд, соответствующий их последовательности, основываясь на архитектуре Text-to-Video Zero и интегрируя ControlNet для обеспечения дополнительных входных условий. Сначала мы интерполируем кадры между предоставленными набросками, а затем применяем Text-to-Video Zero, используя новый интерполированный видеоряд в качестве управляющей техники. Это позволяет нам использовать преимущества как генерации видео из текста в режиме zero-shot, так и надежного управления, предоставляемого ControlNet. Эксперименты показывают, что наш метод превосходно справляется с созданием высококачественного и исключительно согласованного видеоконтента, который более точно соответствует задуманному пользователем движению объекта в видео. Мы предоставляем комплексный пакет ресурсов, включая демонстрационное видео, сайт проекта, открытый репозиторий на GitHub и интерактивную среду Colab, чтобы способствовать дальнейшим исследованиям и применению нашего предложенного метода.

English

The proliferation of video content demands efficient and flexible neural network based approaches for generating new video content. In this paper, we propose a novel approach that combines zero-shot text-to-video generation with ControlNet to improve the output of these models. Our method takes multiple sketched frames as input and generates video output that matches the flow of these frames, building upon the Text-to-Video Zero architecture and incorporating ControlNet to enable additional input conditions. By first interpolating frames between the inputted sketches and then running Text-to-Video Zero using the new interpolated frames video as the control technique, we leverage the benefits of both zero-shot text-to-video generation and the robust control provided by ControlNet. Experiments demonstrate that our method excels at producing high-quality and remarkably consistent video content that more accurately aligns with the user's intended motion for the subject within the video. We provide a comprehensive resource package, including a demo video, project website, open-source GitHub repository, and a Colab playground to foster further research and application of our proposed method.