ViGoR: Verbetering van visuele verankering van grote visueel-taalmodelen met fijnmazige beloningsmodellering

ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling

February 9, 2024

Auteurs: Siming Yan, Min Bai, Weifeng Chen, Xiong Zhou, Qixing Huang, Li Erran Li

cs.AI

Samenvatting

Door het combineren van natuurlijke taalbegrip en de generatiecapaciteiten en de brede kennis van grote taalmodelen met beeldperceptie, hebben recente grote visuele taalmodelen (LVLMs) ongekende redeneervaardigheden in de echte wereld getoond. Echter, de gegenereerde tekst lijdt vaak onder onnauwkeurige verankering in de visuele input, wat resulteert in fouten zoals het hallucineren van niet-bestaande scène-elementen, het missen van significante delen van de scène, en het afleiden van incorrecte attributen en relaties tussen objecten. Om deze problemen aan te pakken, introduceren we een nieuw raamwerk, ViGoR (Visual Grounding Through Fine-Grained Reward Modeling), dat gebruikmaakt van fijnmazige beloningsmodellering om de visuele verankering van LVLMs aanzienlijk te verbeteren ten opzichte van vooraf getrainde basislijnen. Deze verbetering wordt efficiënt bereikt met behulp van veel goedkopere menselijke evaluaties in plaats van volledige supervisie, evenals geautomatiseerde methoden. We tonen de effectiviteit van onze aanpak aan via talrijke metrieken op verschillende benchmarks. Daarnaast construeren we een uitgebreide en uitdagende dataset die specifiek is ontworpen om de visuele verankeringscapaciteiten van LVLMs te valideren. Tot slot zijn we van plan onze menselijke annotatie, bestaande uit ongeveer 16.000 afbeeldingen en gegenereerde tekstparen met fijnmazige evaluaties, vrij te geven om bij te dragen aan gerelateerd onderzoek in de gemeenschap.

English

By combining natural language understanding and the generation capabilities and breadth of knowledge of large language models with image perception, recent large vision language models (LVLMs) have shown unprecedented reasoning capabilities in the real world. However, the generated text often suffers from inaccurate grounding in the visual input, resulting in errors such as hallucinating nonexistent scene elements, missing significant parts of the scene, and inferring incorrect attributes and relationships between objects. To address these issues, we introduce a novel framework, ViGoR (Visual Grounding Through Fine-Grained Reward Modeling) that utilizes fine-grained reward modeling to significantly enhance the visual grounding of LVLMs over pre-trained baselines. This improvement is efficiently achieved using much cheaper human evaluations instead of full supervisions, as well as automated methods. We show the effectiveness of our approach through numerous metrics on several benchmarks. Additionally, we construct a comprehensive and challenging dataset specifically designed to validate the visual grounding capabilities of LVLMs. Finally, we plan to release our human annotation comprising approximately 16,000 images and generated text pairs with fine-grained evaluations to contribute to related research in the community.