Alinhando Grandes Modelos Multimodais com RLHF Aumentado por Fatos

Resumo

Modelos Multimodais de Grande Escala (LMM) são construídos através de múltiplas modalidades, e o desalinhamento entre duas modalidades pode resultar em "alucinação", gerando saídas textuais que não são fundamentadas pelas informações multimodais no contexto. Para abordar o problema de desalinhamento multimodal, adaptamos o Aprendizado por Reforço com Feedback Humano (RLHF) do domínio textual para a tarefa de alinhamento visão-linguagem, onde anotadores humanos são solicitados a comparar duas respostas e identificar a mais alucinada, e o modelo visão-linguagem é treinado para maximizar as recompensas humanas simuladas. Propomos um novo algoritmo de alinhamento chamado RLHF Aumentado com Fatos, que amplia o modelo de recompensa com informações factuais adicionais, como legendas de imagens e opções de múltipla escolha verdadeiras, o que alivia o fenômeno de "hacking de recompensa" no RLHF e melhora ainda mais o desempenho. Também aprimoramos os dados de treinamento gerados pelo GPT-4 (para ajuste de instruções visuais) com pares imagem-texto escritos por humanos previamente disponíveis, para melhorar as capacidades gerais do nosso modelo. Para avaliar a abordagem proposta em cenários do mundo real, desenvolvemos um novo benchmark de avaliação, o MMHAL-BENCH, com foco especial em penalizar alucinações. Como o primeiro LMM treinado com RLHF, nossa abordagem alcança uma melhoria notável no conjunto de dados LLaVA-Bench, atingindo 94% do nível de desempenho do GPT-4 apenas textual (enquanto os melhores métodos anteriores alcançam apenas 87%), e uma melhoria de 60% no MMHAL-BENCH em relação a outras baselines. Disponibilizamos nosso código, modelo e dados em https://llava-rlhf.github.io.

English

Large Multimodal Models (LMM) are built across modalities and the misalignment between two modalities can result in "hallucination", generating textual outputs that are not grounded by the multimodal information in context. To address the multimodal misalignment issue, we adapt the Reinforcement Learning from Human Feedback (RLHF) from the text domain to the task of vision-language alignment, where human annotators are asked to compare two responses and pinpoint the more hallucinated one, and the vision-language model is trained to maximize the simulated human rewards. We propose a new alignment algorithm called Factually Augmented RLHF that augments the reward model with additional factual information such as image captions and ground-truth multi-choice options, which alleviates the reward hacking phenomenon in RLHF and further improves the performance. We also enhance the GPT-4-generated training data (for vision instruction tuning) with previously available human-written image-text pairs to improve the general capabilities of our model. To evaluate the proposed approach in real-world scenarios, we develop a new evaluation benchmark MMHAL-BENCH with a special focus on penalizing hallucinations. As the first LMM trained with RLHF, our approach achieves remarkable improvement on the LLaVA-Bench dataset with the 94% performance level of the text-only GPT-4 (while previous best methods can only achieve the 87% level), and an improvement by 60% on MMHAL-BENCH over other baselines. We opensource our code, model, data at https://llava-rlhf.github.io.

Alinhando Grandes Modelos Multimodais com RLHF Aumentado por Fatos

Aligning Large Multimodal Models with Factually Augmented RLHF

Resumo

Support