VideoAnydoor: Вставка объектов видео высокой точности с точным управлением движением

VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

January 2, 2025

Авторы: Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao

cs.AI

Аннотация

Несмотря на значительные достижения в области генерации видео, вставка определенного объекта в видео остается сложной задачей. Сложность заключается в сохранении деталей внешнего вида и точном моделировании согласованных движений одновременно. В данной статье мы предлагаем VideoAnydoor, фреймворк вставки объектов в видео с нулевым обучением, обеспечивающий высококачественное сохранение деталей и точное управление движением. Начиная с модели текста-видео, мы используем извлекатель ID для внедрения глобальной идентичности и используем последовательность прямоугольников для управления общим движением. Для сохранения детального внешнего вида и поддержки детального управления движением мы разрабатываем пиксельный варпер. Он принимает изображение-эталон с произвольными ключевыми точками и соответствующие траектории ключевых точек в качестве входных данных. Он искажает детали пикселей в соответствии с траекториями и объединяет их с искаженными признаками с помощью диффузионной U-Net, тем самым улучшая сохранение деталей и поддерживая пользователей в управлении траекториями движения. Кроме того, мы предлагаем стратегию обучения, включающую как видео, так и статические изображения с потерей реконструкции для улучшения качества вставки. VideoAnydoor демонстрирует значительное превосходство над существующими методами и естественно поддерживает различные прикладные задачи (например, генерацию разговорной головы, виртуальную примерку одежды в видео, редактирование нескольких областей) без специфической настройки.

English

Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a reweight reconstruction loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.