ViGoR: Улучшение визуального заземления крупных моделей обработки зрения и языка с помощью моделирования детализированных вознаграждений

ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling

February 9, 2024

Авторы: Siming Yan, Min Bai, Weifeng Chen, Xiong Zhou, Qixing Huang, Li Erran Li

cs.AI

Аннотация

Объединяя понимание естественного языка, генеративные возможности и обширные знания крупных языковых моделей с восприятием изображений, современные крупные визуально-языковые модели (LVLMs) продемонстрировали беспрецедентные способности к рассуждению в реальном мире. Однако генерируемый текст часто страдает от неточной привязки к визуальным данным, что приводит к ошибкам, таким как галлюцинации несуществующих элементов сцены, пропуск значительных частей сцены и некорректное определение атрибутов и отношений между объектами. Для решения этих проблем мы представляем новый фреймворк ViGoR (Visual Grounding Through Fine-Grained Reward Modeling), который использует детализированное моделирование вознаграждений для значительного улучшения визуальной привязки LVLMs по сравнению с предварительно обученными базовыми моделями. Это улучшение эффективно достигается с использованием более дешевых человеческих оценок вместо полного контроля, а также автоматизированных методов. Мы демонстрируем эффективность нашего подхода с помощью множества метрик на нескольких бенчмарках. Кроме того, мы создаем всеобъемлющий и сложный набор данных, специально разработанный для проверки способностей LVLMs к визуальной привязке. Наконец, мы планируем опубликовать наши аннотации, включающие примерно 16 000 пар изображений и сгенерированного текста с детализированными оценками, чтобы внести вклад в связанные исследования в сообществе.

English

By combining natural language understanding and the generation capabilities and breadth of knowledge of large language models with image perception, recent large vision language models (LVLMs) have shown unprecedented reasoning capabilities in the real world. However, the generated text often suffers from inaccurate grounding in the visual input, resulting in errors such as hallucinating nonexistent scene elements, missing significant parts of the scene, and inferring incorrect attributes and relationships between objects. To address these issues, we introduce a novel framework, ViGoR (Visual Grounding Through Fine-Grained Reward Modeling) that utilizes fine-grained reward modeling to significantly enhance the visual grounding of LVLMs over pre-trained baselines. This improvement is efficiently achieved using much cheaper human evaluations instead of full supervisions, as well as automated methods. We show the effectiveness of our approach through numerous metrics on several benchmarks. Additionally, we construct a comprehensive and challenging dataset specifically designed to validate the visual grounding capabilities of LVLMs. Finally, we plan to release our human annotation comprising approximately 16,000 images and generated text pairs with fine-grained evaluations to contribute to related research in the community.