Согласование крупных мультимодальных моделей с фактологически усиленным RLHF

Аннотация

Крупные мультимодальные модели (LMM) строятся на основе различных модальностей, и рассогласование между двумя модальностями может приводить к "галлюцинациям", то есть генерации текстовых выводов, не основанных на мультимодальной информации в контексте. Для решения проблемы мультимодального рассогласования мы адаптировали метод обучения с подкреплением на основе обратной связи от человека (RLHF) из текстовой области к задаче согласования визуальной и языковой информации. В этом процессе аннотаторы сравнивают два ответа и указывают на тот, который содержит больше галлюцинаций, а модель обучается максимизировать смоделированные человеческие оценки. Мы предлагаем новый алгоритм согласования под названием Factually Augmented RLHF, который дополняет модель вознаграждения дополнительной фактической информацией, такой как подписи к изображениям и правильные варианты ответов в тестах с множественным выбором. Это смягчает проблему "взлома вознаграждения" в RLHF и дополнительно улучшает производительность. Мы также улучшаем данные для обучения, сгенерированные GPT-4 (для настройки визуальных инструкций), добавляя ранее доступные пары "изображение-текст", написанные человеком, чтобы повысить общие возможности нашей модели. Для оценки предложенного подхода в реальных сценариях мы разработали новый эталонный тест MMHAL-BENCH, который уделяет особое внимание наказанию за галлюцинации. Как первая LMM, обученная с использованием RLHF, наш подход демонстрирует значительное улучшение на наборе данных LLaVA-Bench, достигая 94% уровня производительности GPT-4, работающего только с текстом (в то время как предыдущие лучшие методы достигали только 87%), и улучшение на 60% на MMHAL-BENCH по сравнению с другими базовыми методами. Мы открываем исходный код, модель и данные на https://llava-rlhf.github.io.

English

Large Multimodal Models (LMM) are built across modalities and the misalignment between two modalities can result in "hallucination", generating textual outputs that are not grounded by the multimodal information in context. To address the multimodal misalignment issue, we adapt the Reinforcement Learning from Human Feedback (RLHF) from the text domain to the task of vision-language alignment, where human annotators are asked to compare two responses and pinpoint the more hallucinated one, and the vision-language model is trained to maximize the simulated human rewards. We propose a new alignment algorithm called Factually Augmented RLHF that augments the reward model with additional factual information such as image captions and ground-truth multi-choice options, which alleviates the reward hacking phenomenon in RLHF and further improves the performance. We also enhance the GPT-4-generated training data (for vision instruction tuning) with previously available human-written image-text pairs to improve the general capabilities of our model. To evaluate the proposed approach in real-world scenarios, we develop a new evaluation benchmark MMHAL-BENCH with a special focus on penalizing hallucinations. As the first LMM trained with RLHF, our approach achieves remarkable improvement on the LLaVA-Bench dataset with the 94% performance level of the text-only GPT-4 (while previous best methods can only achieve the 87% level), and an improvement by 60% on MMHAL-BENCH over other baselines. We opensource our code, model, data at https://llava-rlhf.github.io.

Согласование крупных мультимодальных моделей с фактологически усиленным RLHF

Aligning Large Multimodal Models with Factually Augmented RLHF

Аннотация

Support