LiFT : Exploiter les retours humains pour l'alignement des modèles texte-vidéo

LiFT: Leveraging Human Feedback for Text-to-Video Model Alignment

December 6, 2024

Auteurs: Yibin Wang, Zhiyu Tan, Junyan Wang, Xiaomeng Yang, Cheng Jin, Hao Li

cs.AI

Résumé

Les récents progrès dans les modèles génératifs de texte-à-vidéo (T2V) ont montré des capacités impressionnantes. Cependant, ces modèles restent insuffisants pour aligner les vidéos synthétisées sur les préférences humaines (par exemple, refléter avec précision les descriptions textuelles), ce qui est particulièrement difficile à résoudre, car les préférences humaines sont intrinsèquement subjectives et difficiles à formaliser en tant que fonctions objectives. Par conséquent, cet article propose LiFT, une nouvelle méthode de fine-tuning exploitant les retours humains pour l'alignement des modèles T2V. Plus précisément, nous construisons d'abord un ensemble de données d'annotations de notation humaine, LiFT-HRA, comprenant environ 10 000 annotations humaines, chacune incluant un score et sa justification correspondante. Sur cette base, nous entraînons un modèle de récompense LiFT-Critic pour apprendre efficacement la fonction de récompense, qui sert de proxy pour le jugement humain, mesurant l'alignement entre les vidéos données et les attentes humaines. Enfin, nous exploitons la fonction de récompense apprise pour aligner le modèle T2V en maximisant la probabilité pondérée par la récompense. À titre d'étude de cas, nous appliquons notre pipeline à CogVideoX-2B, montrant que le modèle affiné surpasse le CogVideoX-5B sur les 16 métriques, mettant en évidence le potentiel des retours humains pour améliorer l'alignement et la qualité des vidéos synthétisées.

English

Recent advancements in text-to-video (T2V) generative models have shown impressive capabilities. However, these models are still inadequate in aligning synthesized videos with human preferences (e.g., accurately reflecting text descriptions), which is particularly difficult to address, as human preferences are inherently subjective and challenging to formalize as objective functions. Therefore, this paper proposes LiFT, a novel fine-tuning method leveraging human feedback for T2V model alignment. Specifically, we first construct a Human Rating Annotation dataset, LiFT-HRA, consisting of approximately 10k human annotations, each including a score and its corresponding rationale. Based on this, we train a reward model LiFT-Critic to learn reward function effectively, which serves as a proxy for human judgment, measuring the alignment between given videos and human expectations. Lastly, we leverage the learned reward function to align the T2V model by maximizing the reward-weighted likelihood. As a case study, we apply our pipeline to CogVideoX-2B, showing that the fine-tuned model outperforms the CogVideoX-5B across all 16 metrics, highlighting the potential of human feedback in improving the alignment and quality of synthesized videos.