Alineación de Difusión de Video a través de Gradientes de Recompensa

Video Diffusion Alignment via Reward Gradients

July 11, 2024

Autores: Mihir Prabhudesai, Russell Mendonca, Zheyang Qin, Katerina Fragkiadaki, Deepak Pathak

cs.AI

Resumen

Hemos avanzado significativamente hacia la construcción de modelos fundamentales de difusión de video. Dado que estos modelos se entrenan utilizando datos no supervisados a gran escala, se ha vuelto crucial adaptar estos modelos a tareas específicas posteriores. La adaptación de estos modelos a través de un ajuste fino supervisado requiere la recopilación de conjuntos de datos objetivo de videos, lo cual es desafiante y tedioso. En este trabajo, utilizamos modelos de recompensa pre-entrenados que se aprenden a través de preferencias sobre potentes modelos discriminativos de visión para adaptar los modelos de difusión de video. Estos modelos contienen información de gradiente densa con respecto a los píxeles RGB generados, lo cual es crítico para un aprendizaje eficiente en espacios de búsqueda complejos, como los videos. Mostramos que retropropagar gradientes desde estos modelos de recompensa a un modelo de difusión de video puede permitir un alineamiento eficiente en términos de cómputo y muestra del modelo de difusión de video. Presentamos resultados a través de una variedad de modelos de recompensa y modelos de difusión de video, demostrando que nuestro enfoque puede aprender de manera mucho más eficiente en términos de consultas de recompensa y cálculo que enfoques previos sin gradientes. Nuestro código, pesos de modelo y más visualizaciones están disponibles en https://vader-vid.github.io.

English

We have made significant progress towards building foundational video diffusion models. As these models are trained using large-scale unsupervised data, it has become crucial to adapt these models to specific downstream tasks. Adapting these models via supervised fine-tuning requires collecting target datasets of videos, which is challenging and tedious. In this work, we utilize pre-trained reward models that are learned via preferences on top of powerful vision discriminative models to adapt video diffusion models. These models contain dense gradient information with respect to generated RGB pixels, which is critical to efficient learning in complex search spaces, such as videos. We show that backpropagating gradients from these reward models to a video diffusion model can allow for compute and sample efficient alignment of the video diffusion model. We show results across a variety of reward models and video diffusion models, demonstrating that our approach can learn much more efficiently in terms of reward queries and computation than prior gradient-free approaches. Our code, model weights,and more visualization are available at https://vader-vid.github.io.