Videoverteilungsausrichtung über Belohnungsgradienten

Video Diffusion Alignment via Reward Gradients

July 11, 2024

Autoren: Mihir Prabhudesai, Russell Mendonca, Zheyang Qin, Katerina Fragkiadaki, Deepak Pathak

cs.AI

Zusammenfassung

Wir haben bedeutende Fortschritte bei der Entwicklung grundlegender Modelle für die Videodiffusion erzielt. Da diese Modelle mit groß angelegten unüberwachten Daten trainiert werden, ist es entscheidend geworden, diese Modelle an spezifische nachgelagerte Aufgaben anzupassen. Die Anpassung dieser Modelle durch überwachtes Feintuning erfordert das Sammeln von Ziel-Datensätzen von Videos, was herausfordernd und mühsam ist. In dieser Arbeit verwenden wir vorab trainierte Belohnungsmodelle, die durch Präferenzen auf der Grundlage leistungsstarker visueller diskriminativer Modelle gelernt wurden, um Videodiffusionsmodelle anzupassen. Diese Modelle enthalten dichte Gradienteninformationen in Bezug auf generierte RGB-Pixel, was für effizientes Lernen in komplexen Suchräumen wie Videos entscheidend ist. Wir zeigen, dass das Rückpropagieren von Gradienten von diesen Belohnungsmodellen auf ein Videodiffusionsmodell eine rechen- und probeneffiziente Ausrichtung des Videodiffusionsmodells ermöglichen kann. Wir präsentieren Ergebnisse über eine Vielzahl von Belohnungsmodellen und Videodiffusionsmodellen und zeigen, dass unser Ansatz in Bezug auf Belohnungsabfragen und Berechnungen viel effizienter lernen kann als frühere gradientenfreie Ansätze. Unser Code, Modellgewichte und weitere Visualisierungen sind unter https://vader-vid.github.io verfügbar.

English

We have made significant progress towards building foundational video diffusion models. As these models are trained using large-scale unsupervised data, it has become crucial to adapt these models to specific downstream tasks. Adapting these models via supervised fine-tuning requires collecting target datasets of videos, which is challenging and tedious. In this work, we utilize pre-trained reward models that are learned via preferences on top of powerful vision discriminative models to adapt video diffusion models. These models contain dense gradient information with respect to generated RGB pixels, which is critical to efficient learning in complex search spaces, such as videos. We show that backpropagating gradients from these reward models to a video diffusion model can allow for compute and sample efficient alignment of the video diffusion model. We show results across a variety of reward models and video diffusion models, demonstrating that our approach can learn much more efficiently in terms of reward queries and computation than prior gradient-free approaches. Our code, model weights,and more visualization are available at https://vader-vid.github.io.