Alignement des grands modèles multimodaux avec un RLHF enrichi par des faits

Résumé

Les modèles multimodaux de grande taille (LMM) sont construits à travers différentes modalités, et le désalignement entre deux modalités peut entraîner des "hallucinations", générant des sorties textuelles qui ne sont pas ancrées dans les informations multimodales du contexte. Pour résoudre ce problème de désalignement multimodal, nous adaptons l'apprentissage par renforcement à partir de retours humains (RLHF) du domaine textuel à la tâche d'alignement vision-langage, où des annotateurs humains sont invités à comparer deux réponses et à identifier celle qui est la plus hallucinée, et où le modèle vision-langage est entraîné pour maximiser les récompenses humaines simulées. Nous proposons un nouvel algorithme d'alignement appelé Factually Augmented RLHF, qui enrichit le modèle de récompense avec des informations factuelles supplémentaires telles que des légendes d'images et des options de choix multiples de référence, ce qui atténue le phénomène de triche des récompenses dans RLHF et améliore encore les performances. Nous améliorons également les données d'entraînement générées par GPT-4 (pour le réglage des instructions visuelles) avec des paires image-texte écrites par des humains précédemment disponibles, afin d'améliorer les capacités générales de notre modèle. Pour évaluer l'approche proposée dans des scénarios réels, nous développons un nouveau benchmark d'évaluation, MMHAL-BENCH, qui se concentre particulièrement sur la pénalisation des hallucinations. En tant que premier LMM entraîné avec RLHF, notre approche obtient une amélioration remarquable sur le jeu de données LLaVA-Bench, atteignant 94 % du niveau de performance du GPT-4 textuel uniquement (alors que les meilleures méthodes précédentes ne pouvaient atteindre que 87 %), et une amélioration de 60 % sur MMHAL-BENCH par rapport aux autres méthodes de référence. Nous mettons à disposition notre code, modèle et données sur https://llava-rlhf.github.io.

English

Large Multimodal Models (LMM) are built across modalities and the misalignment between two modalities can result in "hallucination", generating textual outputs that are not grounded by the multimodal information in context. To address the multimodal misalignment issue, we adapt the Reinforcement Learning from Human Feedback (RLHF) from the text domain to the task of vision-language alignment, where human annotators are asked to compare two responses and pinpoint the more hallucinated one, and the vision-language model is trained to maximize the simulated human rewards. We propose a new alignment algorithm called Factually Augmented RLHF that augments the reward model with additional factual information such as image captions and ground-truth multi-choice options, which alleviates the reward hacking phenomenon in RLHF and further improves the performance. We also enhance the GPT-4-generated training data (for vision instruction tuning) with previously available human-written image-text pairs to improve the general capabilities of our model. To evaluate the proposed approach in real-world scenarios, we develop a new evaluation benchmark MMHAL-BENCH with a special focus on penalizing hallucinations. As the first LMM trained with RLHF, our approach achieves remarkable improvement on the LLaVA-Bench dataset with the 94% performance level of the text-only GPT-4 (while previous best methods can only achieve the 87% level), and an improvement by 60% on MMHAL-BENCH over other baselines. We opensource our code, model, data at https://llava-rlhf.github.io.

Alignement des grands modèles multimodaux avec un RLHF enrichi par des faits

Aligning Large Multimodal Models with Factually Augmented RLHF

Résumé

Support