InstructVideo: Video-diffusiemodellen instrueren met menselijke feedback

InstructVideo: Instructing Video Diffusion Models with Human Feedback

December 19, 2023

Auteurs: Hangjie Yuan, Shiwei Zhang, Xiang Wang, Yujie Wei, Tao Feng, Yining Pan, Yingya Zhang, Ziwei Liu, Samuel Albanie, Dong Ni

cs.AI

Samenvatting

Diffusiemodellen zijn uitgegroeid tot het de facto paradigma voor videogeneratie. Hun afhankelijkheid van web-schaal data van wisselende kwaliteit resulteert echter vaak in visueel onaantrekkelijke resultaten die niet overeenkomen met de tekstuele prompts. Om dit probleem aan te pakken, stellen we InstructVideo voor om tekst-naar-video diffusiemodellen te instrueren met menselijke feedback door middel van reward fine-tuning. InstructVideo heeft twee belangrijke componenten: 1) Om de kosten van reward fine-tuning, veroorzaakt door het genereren via de volledige DDIM sampling chain, te verminderen, herformuleren we reward fine-tuning als bewerking. Door gebruik te maken van het diffusieproces om een gegenereerde video te corrumperen, vereist InstructVideo slechts gedeeltelijke inferentie van de DDIM sampling chain, wat de fine-tuning kosten verlaagt en de fine-tuning efficiëntie verbetert. 2) Om het ontbreken van een toegewijd videorewardmodel voor menselijke voorkeuren te ondervangen, hergebruiken we gevestigde beeldrewardmodellen, zoals HPSv2. Hiertoe stellen we Segmental Video Reward voor, een mechanisme om beloningssignalen te geven op basis van segmentale sparse sampling, en Temporally Attenuated Reward, een methode die tijdelijk modelleringsverlies tijdens fine-tuning vermindert. Uitgebreide experimenten, zowel kwalitatief als kwantitatief, valideren de praktische bruikbaarheid en effectiviteit van het gebruik van beeldrewardmodellen in InstructVideo, wat de visuele kwaliteit van gegenereerde video's aanzienlijk verbetert zonder in te boeten op generalisatiecapaciteiten. Code en modellen zullen publiekelijk beschikbaar worden gemaakt.

English

Diffusion models have emerged as the de facto paradigm for video generation. However, their reliance on web-scale data of varied quality often yields results that are visually unappealing and misaligned with the textual prompts. To tackle this problem, we propose InstructVideo to instruct text-to-video diffusion models with human feedback by reward fine-tuning. InstructVideo has two key ingredients: 1) To ameliorate the cost of reward fine-tuning induced by generating through the full DDIM sampling chain, we recast reward fine-tuning as editing. By leveraging the diffusion process to corrupt a sampled video, InstructVideo requires only partial inference of the DDIM sampling chain, reducing fine-tuning cost while improving fine-tuning efficiency. 2) To mitigate the absence of a dedicated video reward model for human preferences, we repurpose established image reward models, e.g., HPSv2. To this end, we propose Segmental Video Reward, a mechanism to provide reward signals based on segmental sparse sampling, and Temporally Attenuated Reward, a method that mitigates temporal modeling degradation during fine-tuning. Extensive experiments, both qualitative and quantitative, validate the practicality and efficacy of using image reward models in InstructVideo, significantly enhancing the visual quality of generated videos without compromising generalization capabilities. Code and models will be made publicly available.