事実に基づいて強化されたRLHFによる大規模マルチモーダルモデルのアラインメント

要旨

大規模マルチモーダルモデル（LMM）は複数のモダリティにまたがって構築されており、2つのモダリティ間の不整合は「幻覚」を引き起こし、文脈内のマルチモーダル情報に基づかないテキスト出力を生成する可能性があります。このマルチモーダル不整合問題に対処するため、テキスト領域で用いられる人間のフィードバックからの強化学習（RLHF）を視覚と言語の整合タスクに適用します。ここでは、人間のアノテーターが2つの応答を比較し、より幻覚的なものを特定し、視覚言語モデルはシミュレートされた人間の報酬を最大化するように訓練されます。我々は、Factually Augmented RLHFと呼ばれる新しい整合アルゴリズムを提案します。このアルゴリズムは、画像キャプションや正解の多肢選択肢などの追加の事実情報で報酬モデルを拡張し、RLHFにおける報酬ハッキング現象を軽減し、さらに性能を向上させます。また、GPT-4が生成したトレーニングデータ（視覚指示チューニング用）を、以前から利用可能だった人間が書いた画像テキストペアで強化し、モデルの汎用能力を向上させます。提案手法を現実世界のシナリオで評価するため、幻覚を特に罰する新しい評価ベンチマークMMHAL-BENCHを開発しました。RLHFで訓練された最初のLMMとして、我々のアプローチはLLaVA-Benchデータセットで顕著な改善を達成し、テキストのみのGPT-4の94%の性能レベル（以前の最良の手法は87%レベルしか達成できなかった）に到達し、MMHAL-BENCHでは他のベースラインよりも60%の改善を実現しました。我々は、コード、モデル、データをhttps://llava-rlhf.github.ioで公開しています。

English

Large Multimodal Models (LMM) are built across modalities and the misalignment between two modalities can result in "hallucination", generating textual outputs that are not grounded by the multimodal information in context. To address the multimodal misalignment issue, we adapt the Reinforcement Learning from Human Feedback (RLHF) from the text domain to the task of vision-language alignment, where human annotators are asked to compare two responses and pinpoint the more hallucinated one, and the vision-language model is trained to maximize the simulated human rewards. We propose a new alignment algorithm called Factually Augmented RLHF that augments the reward model with additional factual information such as image captions and ground-truth multi-choice options, which alleviates the reward hacking phenomenon in RLHF and further improves the performance. We also enhance the GPT-4-generated training data (for vision instruction tuning) with previously available human-written image-text pairs to improve the general capabilities of our model. To evaluate the proposed approach in real-world scenarios, we develop a new evaluation benchmark MMHAL-BENCH with a special focus on penalizing hallucinations. As the first LMM trained with RLHF, our approach achieves remarkable improvement on the LLaVA-Bench dataset with the 94% performance level of the text-only GPT-4 (while previous best methods can only achieve the 87% level), and an improvement by 60% on MMHAL-BENCH over other baselines. We opensource our code, model, data at https://llava-rlhf.github.io.

事実に基づいて強化されたRLHFによる大規模マルチモーダルモデルのアラインメント

Aligning Large Multimodal Models with Factually Augmented RLHF

要旨

Support