Video Diffusie Uitlijning via Beloningsgradiënten

Video Diffusion Alignment via Reward Gradients

July 11, 2024

Auteurs: Mihir Prabhudesai, Russell Mendonca, Zheyang Qin, Katerina Fragkiadaki, Deepak Pathak

cs.AI

Samenvatting

We hebben aanzienlijke vooruitgang geboekt bij het ontwikkelen van fundamentele videodiffusiemodellen. Omdat deze modellen worden getraind met grootschalige, onbewaakte data, is het cruciaal geworden om deze modellen aan te passen aan specifieke downstream taken. Het aanpassen van deze modellen via supervised fine-tuning vereist het verzamelen van doelgerichte datasets van video's, wat uitdagend en tijdrovend is. In dit werk maken we gebruik van vooraf getrainde beloningsmodellen die zijn geleerd via voorkeuren op basis van krachtige visuele discriminatieve modellen om videodiffusiemodellen aan te passen. Deze modellen bevatten dichte gradientinformatie met betrekking tot gegenereerde RGB-pixels, wat essentieel is voor efficiënt leren in complexe zoekruimten, zoals video's. We laten zien dat het terugpropageren van gradienten van deze beloningsmodellen naar een videodiffusiemodel kan leiden tot een reken- en sample-efficiënte afstemming van het videodiffusiemodel. We presenteren resultaten voor diverse beloningsmodellen en videodiffusiemodellen, waaruit blijkt dat onze aanpak veel efficiënter kan leren in termen van beloningsquery's en rekenkracht dan eerdere gradientvrije benaderingen. Onze code, modelgewichten en meer visualisaties zijn beschikbaar op https://vader-vid.github.io.

English

We have made significant progress towards building foundational video diffusion models. As these models are trained using large-scale unsupervised data, it has become crucial to adapt these models to specific downstream tasks. Adapting these models via supervised fine-tuning requires collecting target datasets of videos, which is challenging and tedious. In this work, we utilize pre-trained reward models that are learned via preferences on top of powerful vision discriminative models to adapt video diffusion models. These models contain dense gradient information with respect to generated RGB pixels, which is critical to efficient learning in complex search spaces, such as videos. We show that backpropagating gradients from these reward models to a video diffusion model can allow for compute and sample efficient alignment of the video diffusion model. We show results across a variety of reward models and video diffusion models, demonstrating that our approach can learn much more efficiently in terms of reward queries and computation than prior gradient-free approaches. Our code, model weights,and more visualization are available at https://vader-vid.github.io.