ViGoR: Aprimorando o Aterramento Visual de Grandes Modelos de Linguagem e Visão com Modelagem de Recompensas de Alta Granularidade

ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling

February 9, 2024

Autores: Siming Yan, Min Bai, Weifeng Chen, Xiong Zhou, Qixing Huang, Li Erran Li

cs.AI

Resumo

Ao combinar a compreensão de linguagem natural e as capacidades de geração e amplitude de conhecimento dos grandes modelos de linguagem com a percepção de imagens, os recentes grandes modelos de visão e linguagem (LVLMs, na sigla em inglês) demonstraram capacidades de raciocínio sem precedentes no mundo real. No entanto, o texto gerado frequentemente sofre com a falta de precisão no enraizamento visual, resultando em erros como a alucinação de elementos inexistentes na cena, a omissão de partes significativas da cena e a inferência incorreta de atributos e relações entre objetos. Para abordar esses problemas, introduzimos uma nova estrutura, o ViGoR (Visual Grounding Through Fine-Grained Reward Modeling), que utiliza modelagem de recompensa em nível granular para aprimorar significativamente o enraizamento visual dos LVLMs em relação às linhas de base pré-treinadas. Essa melhoria é alcançada de forma eficiente utilizando avaliações humanas muito mais baratas em vez de supervisão completa, bem como métodos automatizados. Demonstramos a eficácia de nossa abordagem por meio de diversas métricas em vários benchmarks. Além disso, construímos um conjunto de dados abrangente e desafiador especificamente projetado para validar as capacidades de enraizamento visual dos LVLMs. Por fim, planejamos disponibilizar nossas anotações humanas, que compreendem aproximadamente 16.000 pares de imagens e textos gerados com avaliações granulares, para contribuir com pesquisas relacionadas na comunidade.

English

By combining natural language understanding and the generation capabilities and breadth of knowledge of large language models with image perception, recent large vision language models (LVLMs) have shown unprecedented reasoning capabilities in the real world. However, the generated text often suffers from inaccurate grounding in the visual input, resulting in errors such as hallucinating nonexistent scene elements, missing significant parts of the scene, and inferring incorrect attributes and relationships between objects. To address these issues, we introduce a novel framework, ViGoR (Visual Grounding Through Fine-Grained Reward Modeling) that utilizes fine-grained reward modeling to significantly enhance the visual grounding of LVLMs over pre-trained baselines. This improvement is efficiently achieved using much cheaper human evaluations instead of full supervisions, as well as automated methods. We show the effectiveness of our approach through numerous metrics on several benchmarks. Additionally, we construct a comprehensive and challenging dataset specifically designed to validate the visual grounding capabilities of LVLMs. Finally, we plan to release our human annotation comprising approximately 16,000 images and generated text pairs with fine-grained evaluations to contribute to related research in the community.