LiFT: Het benutten van menselijke feedback voor de afstemming van tekst-naar-video modellen.

LiFT: Leveraging Human Feedback for Text-to-Video Model Alignment

December 6, 2024

Auteurs: Yibin Wang, Zhiyu Tan, Junyan Wang, Xiaomeng Yang, Cheng Jin, Hao Li

cs.AI

Samenvatting

Recente ontwikkelingen in tekst-naar-video (T2V) generatieve modellen hebben indrukwekkende mogelijkheden laten zien. Echter, deze modellen zijn nog steeds ontoereikend in het afstemmen van gesynthetiseerde video's op menselijke voorkeuren (bijv. het nauwkeurig weergeven van tekstbeschrijvingen), wat bijzonder moeilijk is aan te pakken, aangezien menselijke voorkeuren inherent subjectief zijn en moeilijk te formaliseren als objectieve functies. Daarom stelt dit artikel LiFT voor, een nieuw fine-tuning methode die menselijke feedback benut voor de afstemming van T2V modellen. Specifiek construeren we eerst een dataset voor Menselijke Beoordelingsannotaties, LiFT-HRA, bestaande uit ongeveer 10k menselijke beoordelingen, elk met een score en de bijbehorende rechtvaardiging. Op basis hiervan trainen we een beloningsmodel LiFT-Critic om effectief de beloningsfunctie te leren, die dient als een proxy voor menselijk oordeel, waarbij de afstemming tussen gegeven video's en menselijke verwachtingen wordt gemeten. Ten slotte benutten we de geleerde beloningsfunctie om het T2V model af te stemmen door de beloningsgewogen waarschijnlijkheid te maximaliseren. Als casestudie passen we ons proces toe op CogVideoX-2B, waarbij we aantonen dat het gefinetunede model beter presteert dan de CogVideoX-5B op alle 16 metrieken, waarbij het potentieel van menselijke feedback wordt benadrukt in het verbeteren van de afstemming en kwaliteit van gesynthetiseerde video's.

English

Recent advancements in text-to-video (T2V) generative models have shown impressive capabilities. However, these models are still inadequate in aligning synthesized videos with human preferences (e.g., accurately reflecting text descriptions), which is particularly difficult to address, as human preferences are inherently subjective and challenging to formalize as objective functions. Therefore, this paper proposes LiFT, a novel fine-tuning method leveraging human feedback for T2V model alignment. Specifically, we first construct a Human Rating Annotation dataset, LiFT-HRA, consisting of approximately 10k human annotations, each including a score and its corresponding rationale. Based on this, we train a reward model LiFT-Critic to learn reward function effectively, which serves as a proxy for human judgment, measuring the alignment between given videos and human expectations. Lastly, we leverage the learned reward function to align the T2V model by maximizing the reward-weighted likelihood. As a case study, we apply our pipeline to CogVideoX-2B, showing that the fine-tuned model outperforms the CogVideoX-5B across all 16 metrics, highlighting the potential of human feedback in improving the alignment and quality of synthesized videos.