ViGoR: 細粒度な報酬モデリングによる大規模視覚言語モデルの視覚的基盤の改善

ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling

February 9, 2024

著者: Siming Yan, Min Bai, Weifeng Chen, Xiong Zhou, Qixing Huang, Li Erran Li

cs.AI

要旨

自然言語理解と大規模言語モデルの生成能力および知識の広さを、画像認識と組み合わせることにより、最近の大規模視覚言語モデル（LVLM）は現実世界において前例のない推論能力を示しています。しかし、生成されたテキストは、視覚的入力に基づいた正確な接地が不十分であることが多く、存在しないシーン要素を幻覚のように生成したり、シーンの重要な部分を見落としたり、オブジェクト間の属性や関係を誤って推論したりするエラーが生じます。これらの問題に対処するため、我々はViGoR（Visual Grounding Through Fine-Grained Reward Modeling）という新しいフレームワークを導入します。このフレームワークは、細粒度の報酬モデリングを活用して、事前学習済みのベースラインと比較してLVLMの視覚的接地を大幅に向上させます。この改善は、完全な教師あり学習ではなく、はるかに低コストな人間による評価と自動化された方法を用いて効率的に達成されます。我々は、いくつかのベンチマークにおける多数のメトリクスを通じて、このアプローチの有効性を示します。さらに、LVLMの視覚的接地能力を検証するために特別に設計された包括的で挑戦的なデータセットを構築します。最後に、約16,000枚の画像と生成されたテキストのペアに細粒度の評価を加えた人間によるアノテーションを公開し、コミュニティにおける関連研究に貢献する予定です。

English

By combining natural language understanding and the generation capabilities and breadth of knowledge of large language models with image perception, recent large vision language models (LVLMs) have shown unprecedented reasoning capabilities in the real world. However, the generated text often suffers from inaccurate grounding in the visual input, resulting in errors such as hallucinating nonexistent scene elements, missing significant parts of the scene, and inferring incorrect attributes and relationships between objects. To address these issues, we introduce a novel framework, ViGoR (Visual Grounding Through Fine-Grained Reward Modeling) that utilizes fine-grained reward modeling to significantly enhance the visual grounding of LVLMs over pre-trained baselines. This improvement is efficiently achieved using much cheaper human evaluations instead of full supervisions, as well as automated methods. We show the effectiveness of our approach through numerous metrics on several benchmarks. Additionally, we construct a comprehensive and challenging dataset specifically designed to validate the visual grounding capabilities of LVLMs. Finally, we plan to release our human annotation comprising approximately 16,000 images and generated text pairs with fine-grained evaluations to contribute to related research in the community.