ViGoR : Améliorer l'ancrage visuel des grands modèles de vision et de langage grâce à une modélisation fine des récompenses

ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling

February 9, 2024

papers.authors: Siming Yan, Min Bai, Weifeng Chen, Xiong Zhou, Qixing Huang, Li Erran Li

cs.AI

papers.abstract

En combinant la compréhension du langage naturel, les capacités de génération et l'étendue des connaissances des grands modèles de langage avec la perception visuelle, les récents modèles de vision et langage à grande échelle (LVLMs) ont démontré des capacités de raisonnement sans précédent dans le monde réel. Cependant, le texte généré souffre souvent d'un ancrage visuel imprécis, entraînant des erreurs telles que l'hallucination d'éléments de scène inexistants, l'omission de parties significatives de la scène, et l'inférence incorrecte d'attributs et de relations entre objets. Pour résoudre ces problèmes, nous introduisons un nouveau cadre, ViGoR (Visual Grounding Through Fine-Grained Reward Modeling), qui utilise une modélisation de récompense fine pour améliorer significativement l'ancrage visuel des LVLMs par rapport aux modèles pré-entraînés de référence. Cette amélioration est efficacement réalisée en utilisant des évaluations humaines bien moins coûteuses que des supervisions complètes, ainsi que des méthodes automatisées. Nous démontrons l'efficacité de notre approche à travers de nombreuses métriques sur plusieurs benchmarks. De plus, nous construisons un ensemble de données complet et exigeant spécifiquement conçu pour valider les capacités d'ancrage visuel des LVLMs. Enfin, nous prévoyons de publier nos annotations humaines comprenant environ 16 000 paires d'images et de textes générés avec des évaluations fines pour contribuer aux recherches connexes dans la communauté.

English

By combining natural language understanding and the generation capabilities and breadth of knowledge of large language models with image perception, recent large vision language models (LVLMs) have shown unprecedented reasoning capabilities in the real world. However, the generated text often suffers from inaccurate grounding in the visual input, resulting in errors such as hallucinating nonexistent scene elements, missing significant parts of the scene, and inferring incorrect attributes and relationships between objects. To address these issues, we introduce a novel framework, ViGoR (Visual Grounding Through Fine-Grained Reward Modeling) that utilizes fine-grained reward modeling to significantly enhance the visual grounding of LVLMs over pre-trained baselines. This improvement is efficiently achieved using much cheaper human evaluations instead of full supervisions, as well as automated methods. We show the effectiveness of our approach through numerous metrics on several benchmarks. Additionally, we construct a comprehensive and challenging dataset specifically designed to validate the visual grounding capabilities of LVLMs. Finally, we plan to release our human annotation comprising approximately 16,000 images and generated text pairs with fine-grained evaluations to contribute to related research in the community.