ViGoR: Mejorando el anclaje visual de los grandes modelos de visión y lenguaje mediante el modelado de recompensas de grano fino

ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling

February 9, 2024

Autores: Siming Yan, Min Bai, Weifeng Chen, Xiong Zhou, Qixing Huang, Li Erran Li

cs.AI

Resumen

Al combinar la comprensión del lenguaje natural y las capacidades de generación y amplitud de conocimiento de los modelos de lenguaje de gran escala con la percepción visual, los recientes modelos de lenguaje y visión de gran escala (LVLMs, por sus siglas en inglés) han demostrado capacidades de razonamiento sin precedentes en el mundo real. Sin embargo, el texto generado a menudo sufre de una conexión imprecisa con la entrada visual, lo que resulta en errores como la alucinación de elementos de la escena que no existen, la omisión de partes significativas de la escena y la inferencia incorrecta de atributos y relaciones entre objetos. Para abordar estos problemas, presentamos un marco novedoso, ViGoR (Visual Grounding Through Fine-Grained Reward Modeling), que utiliza un modelado de recompensas de grano fino para mejorar significativamente la conexión visual de los LVLMs en comparación con líneas base preentrenadas. Esta mejora se logra de manera eficiente utilizando evaluaciones humanas mucho más económicas en lugar de supervisiones completas, así como métodos automatizados. Demostramos la efectividad de nuestro enfoque a través de numerosas métricas en varios puntos de referencia. Además, construimos un conjunto de datos completo y desafiante específicamente diseñado para validar las capacidades de conexión visual de los LVLMs. Finalmente, planeamos publicar nuestras anotaciones humanas que comprenden aproximadamente 16,000 pares de imágenes y texto generado con evaluaciones de grano fino para contribuir a la investigación relacionada en la comunidad.

English

By combining natural language understanding and the generation capabilities and breadth of knowledge of large language models with image perception, recent large vision language models (LVLMs) have shown unprecedented reasoning capabilities in the real world. However, the generated text often suffers from inaccurate grounding in the visual input, resulting in errors such as hallucinating nonexistent scene elements, missing significant parts of the scene, and inferring incorrect attributes and relationships between objects. To address these issues, we introduce a novel framework, ViGoR (Visual Grounding Through Fine-Grained Reward Modeling) that utilizes fine-grained reward modeling to significantly enhance the visual grounding of LVLMs over pre-trained baselines. This improvement is efficiently achieved using much cheaper human evaluations instead of full supervisions, as well as automated methods. We show the effectiveness of our approach through numerous metrics on several benchmarks. Additionally, we construct a comprehensive and challenging dataset specifically designed to validate the visual grounding capabilities of LVLMs. Finally, we plan to release our human annotation comprising approximately 16,000 images and generated text pairs with fine-grained evaluations to contribute to related research in the community.