Выравнивание видео-потоков с помощью градиентов вознаграждения

Video Diffusion Alignment via Reward Gradients

July 11, 2024

Авторы: Mihir Prabhudesai, Russell Mendonca, Zheyang Qin, Katerina Fragkiadaki, Deepak Pathak

cs.AI

Аннотация

Мы сделали значительные успехи в создании основных моделей распространения видео. Поскольку эти модели обучаются с использованием масштабных неконтролируемых данных, стало критически важным адаптировать их к конкретным задачам. Адаптация этих моделей с помощью контролируемой донастройки требует сбора целевых наборов данных видео, что является сложным и утомительным процессом. В данной работе мы используем предварительно обученные модели вознаграждения, которые обучаются на основе предпочтений поверх мощных видов дискриминационных моделей для адаптации моделей распространения видео. Эти модели содержат плотную информацию о градиентах относительно созданных RGB пикселей, что критически важно для эффективного обучения в сложных пространствах поиска, таких как видео. Мы показываем, что обратное распространение градиентов от этих моделей вознаграждения к модели распространения видео может обеспечить вычислительно и временно эффективное выравнивание модели распространения видео. Мы демонстрируем результаты на различных моделях вознаграждения и моделях распространения видео, показывая, что наш подход может учиться намного эффективнее в терминах запросов вознаграждения и вычислений, чем предыдущие подходы без градиентов. Наш код, веса моделей и дополнительные визуализации доступны по ссылке https://vader-vid.github.io.

English

We have made significant progress towards building foundational video diffusion models. As these models are trained using large-scale unsupervised data, it has become crucial to adapt these models to specific downstream tasks. Adapting these models via supervised fine-tuning requires collecting target datasets of videos, which is challenging and tedious. In this work, we utilize pre-trained reward models that are learned via preferences on top of powerful vision discriminative models to adapt video diffusion models. These models contain dense gradient information with respect to generated RGB pixels, which is critical to efficient learning in complex search spaces, such as videos. We show that backpropagating gradients from these reward models to a video diffusion model can allow for compute and sample efficient alignment of the video diffusion model. We show results across a variety of reward models and video diffusion models, demonstrating that our approach can learn much more efficiently in terms of reward queries and computation than prior gradient-free approaches. Our code, model weights,and more visualization are available at https://vader-vid.github.io.