Управление камерой без обучения для генерации видео

Training-free Camera Control for Video Generation

June 14, 2024

Авторы: Chen Hou, Guoqiang Wei, Yan Zeng, Zhibo Chen

cs.AI

Аннотация

Мы предлагаем решение без обучения и устойчивое к управлению движением камеры для моделей видеодиффузии на полках магазинов. В отличие от предыдущих работ, наш метод не требует никакого обучения с учителем на наборах данных с аннотациями камеры или самостоятельного обучения через аугментацию данных. Вместо этого его можно просто подключить и использовать с большинством предварительно обученных моделей видеодиффузии и создавать видео с управляемой камерой с помощью одного изображения или текстового запроса в качестве ввода. Вдохновением для нашей работы послужило предположение о том, что промежуточные латенты хранят информацию о компоновке, которая приводит к созданию результатов, и поэтому перестановка шумных пикселей в них также приведет к перераспределению содержимого вывода. Поскольку движение камеры также можно рассматривать как вид пиксельной перестановки, вызванной изменением перспективы, видео могут быть переорганизованы в соответствии с определенным движением камеры, если их шумные латенты изменяются соответственно. Основываясь на этом, мы предлагаем наш метод CamTrol, который обеспечивает устойчивое управление камерой для моделей видеодиффузии. Это достигается двухэтапным процессом. Во-первых, мы моделируем перестановку компоновки изображения через явное движение камеры в трехмерном пространстве облака точек. Во-вторых, мы создаем видео с движением камеры, используя компоновку шумных латент, сформированных серией переставленных изображений. Обширные эксперименты продемонстрировали устойчивость нашего метода в управлении движением камеры в созданных видео. Более того, мы показываем, что наш метод способен производить впечатляющие результаты при создании видео с трехмерным вращением и динамическим содержанием. Страница проекта: https://lifedecoder.github.io/CamTrol/.

English

We propose a training-free and robust solution to offer camera movement control for off-the-shelf video diffusion models. Unlike previous work, our method does not require any supervised finetuning on camera-annotated datasets or self-supervised training via data augmentation. Instead, it can be plugged and played with most pretrained video diffusion models and generate camera controllable videos with a single image or text prompt as input. The inspiration of our work comes from the layout prior that intermediate latents hold towards generated results, thus rearranging noisy pixels in them will make output content reallocated as well. As camera move could also be seen as a kind of pixel rearrangement caused by perspective change, videos could be reorganized following specific camera motion if their noisy latents change accordingly. Established on this, we propose our method CamTrol, which enables robust camera control for video diffusion models. It is achieved by a two-stage process. First, we model image layout rearrangement through explicit camera movement in 3D point cloud space. Second, we generate videos with camera motion using layout prior of noisy latents formed by a series of rearranged images. Extensive experiments have demonstrated the robustness our method holds in controlling camera motion of generated videos. Furthermore, we show that our method can produce impressive results in generating 3D rotation videos with dynamic content. Project page at https://lifedecoder.github.io/CamTrol/.