Allineamento di Modelli Multimodali di Grandi Dimensioni con RLHF Arricchito da Dati Fattuali

Abstract

I Large Multimodal Models (LMM) sono costruiti su più modalità e il disallineamento tra due modalità può portare a "allucinazioni", generando output testuali che non sono supportati dalle informazioni multimodali nel contesto. Per affrontare il problema del disallineamento multimodale, adattiamo il Reinforcement Learning from Human Feedback (RLHF) dal dominio testuale al compito di allineamento visione-linguaggio, dove agli annotatori umani viene chiesto di confrontare due risposte e identificare quella più allucinata, e il modello visione-linguaggio viene addestrato per massimizzare le ricompense umane simulate. Proponiamo un nuovo algoritmo di allineamento chiamato Factually Augmented RLHF che arricchisce il modello di ricompensa con informazioni fattuali aggiuntive come didascalie delle immagini e opzioni a scelta multipla di riferimento, il che allevia il fenomeno del reward hacking in RLHF e migliora ulteriormente le prestazioni. Miglioriamo inoltre i dati di addestramento generati da GPT-4 (per il tuning delle istruzioni visive) con coppie immagine-testo scritte da esseri umani precedentemente disponibili, per migliorare le capacità generali del nostro modello. Per valutare l'approccio proposto in scenari reali, sviluppiamo un nuovo benchmark di valutazione, MMHAL-BENCH, con un focus particolare sulla penalizzazione delle allucinazioni. Come primo LMM addestrato con RLHF, il nostro approccio ottiene un miglioramento significativo sul dataset LLaVA-Bench, raggiungendo il 94% delle prestazioni del GPT-4 solo testuale (mentre i metodi precedenti migliori raggiungevano solo l'87%), e un miglioramento del 60% su MMHAL-BENCH rispetto ad altre baseline. Rendiamo disponibili il nostro codice, modello e dati all'indirizzo https://llava-rlhf.github.io.

English

Large Multimodal Models (LMM) are built across modalities and the misalignment between two modalities can result in "hallucination", generating textual outputs that are not grounded by the multimodal information in context. To address the multimodal misalignment issue, we adapt the Reinforcement Learning from Human Feedback (RLHF) from the text domain to the task of vision-language alignment, where human annotators are asked to compare two responses and pinpoint the more hallucinated one, and the vision-language model is trained to maximize the simulated human rewards. We propose a new alignment algorithm called Factually Augmented RLHF that augments the reward model with additional factual information such as image captions and ground-truth multi-choice options, which alleviates the reward hacking phenomenon in RLHF and further improves the performance. We also enhance the GPT-4-generated training data (for vision instruction tuning) with previously available human-written image-text pairs to improve the general capabilities of our model. To evaluate the proposed approach in real-world scenarios, we develop a new evaluation benchmark MMHAL-BENCH with a special focus on penalizing hallucinations. As the first LMM trained with RLHF, our approach achieves remarkable improvement on the LLaVA-Bench dataset with the 94% performance level of the text-only GPT-4 (while previous best methods can only achieve the 87% level), and an improvement by 60% on MMHAL-BENCH over other baselines. We opensource our code, model, data at https://llava-rlhf.github.io.

Allineamento di Modelli Multimodali di Grandi Dimensioni con RLHF Arricchito da Dati Fattuali

Aligning Large Multimodal Models with Factually Augmented RLHF

Abstract

Support