InstructVideo: Istruire Modelli di Diffusione Video con Feedback Umano

InstructVideo: Instructing Video Diffusion Models with Human Feedback

December 19, 2023

Autori: Hangjie Yuan, Shiwei Zhang, Xiang Wang, Yujie Wei, Tao Feng, Yining Pan, Yingya Zhang, Ziwei Liu, Samuel Albanie, Dong Ni

cs.AI

Abstract

I modelli di diffusione sono emersi come il paradigma de facto per la generazione di video. Tuttavia, la loro dipendenza da dati su scala web di qualità variabile spesso produce risultati visivamente poco attraenti e disallineati rispetto ai prompt testuali. Per affrontare questo problema, proponiamo InstructVideo per istruire i modelli di diffusione testo-video con feedback umano attraverso il fine-tuning basato su ricompensa. InstructVideo si basa su due elementi chiave: 1) Per ridurre il costo del fine-tuning indotto dalla generazione attraverso l'intera catena di campionamento DDIM, riformuliamo il fine-tuning come un'operazione di editing. Sfruttando il processo di diffusione per corrompere un video campionato, InstructVideo richiede solo un'inferenza parziale della catena di campionamento DDIM, riducendo il costo del fine-tuning e migliorandone l'efficienza. 2) Per ovviare all'assenza di un modello di ricompensa video dedicato alle preferenze umane, riadattiamo modelli di ricompensa per immagini consolidati, come HPSv2. A tal fine, proponiamo Segmental Video Reward, un meccanismo per fornire segnali di ricompensa basati su campionamento sparso segmentale, e Temporally Attenuated Reward, un metodo che mitiga il degrado della modellazione temporale durante il fine-tuning. Esperimenti estensivi, sia qualitativi che quantitativi, convalidano la praticità e l'efficacia dell'utilizzo di modelli di ricompensa per immagini in InstructVideo, migliorando significativamente la qualità visiva dei video generati senza compromettere le capacità di generalizzazione. Codice e modelli saranno resi pubblicamente disponibili.

English

Diffusion models have emerged as the de facto paradigm for video generation. However, their reliance on web-scale data of varied quality often yields results that are visually unappealing and misaligned with the textual prompts. To tackle this problem, we propose InstructVideo to instruct text-to-video diffusion models with human feedback by reward fine-tuning. InstructVideo has two key ingredients: 1) To ameliorate the cost of reward fine-tuning induced by generating through the full DDIM sampling chain, we recast reward fine-tuning as editing. By leveraging the diffusion process to corrupt a sampled video, InstructVideo requires only partial inference of the DDIM sampling chain, reducing fine-tuning cost while improving fine-tuning efficiency. 2) To mitigate the absence of a dedicated video reward model for human preferences, we repurpose established image reward models, e.g., HPSv2. To this end, we propose Segmental Video Reward, a mechanism to provide reward signals based on segmental sparse sampling, and Temporally Attenuated Reward, a method that mitigates temporal modeling degradation during fine-tuning. Extensive experiments, both qualitative and quantitative, validate the practicality and efficacy of using image reward models in InstructVideo, significantly enhancing the visual quality of generated videos without compromising generalization capabilities. Code and models will be made publicly available.