Visual Haystacks : Répondre à des questions plus complexes sur des ensembles d'images

Visual Haystacks: Answering Harder Questions About Sets of Images

July 18, 2024

Auteurs: Tsung-Han Wu, Giscard Biamby, Jerome Quenum, Ritwik Gupta, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Résumé

Les récents progrès des modèles multimodaux de grande taille (LMMs) ont permis des avancées significatives dans le domaine de la réponse à des questions visuelles sur une seule image. Cependant, ces modèles rencontrent des défis majeurs lorsqu'ils sont confrontés à des requêtes portant sur de vastes collections d'images, similaires à des scénarios réels tels que la recherche dans de grands albums photo, la recherche d'informations spécifiques sur Internet ou la surveillance des changements environnementaux via l'imagerie satellitaire. Cet article explore la tâche de réponse à des questions visuelles sur plusieurs images (MIQA) : étant donné un grand ensemble d'images et une requête en langage naturel, l'objectif est de générer une réponse pertinente et fondée. Nous proposons un nouveau benchmark public, baptisé "Visual Haystacks (VHs)", spécialement conçu pour évaluer les capacités des LMMs en matière de récupération visuelle et de raisonnement sur des ensembles d'images non liées, où nous effectuons des évaluations approfondies démontrant que même les modèles robustes propriétaires rencontrent des difficultés significatives. Pour remédier à ces lacunes, nous introduisons MIRAGE (Multi-Image Retrieval Augmented Generation), un nouveau cadre de récupération/réponse aux questions adapté aux LMMs qui relève les défis du MIQA avec des améliorations marquées en efficacité et en précision par rapport aux méthodes de base. Notre évaluation montre que MIRAGE surpasse les modèles GPT-4o propriétaires jusqu'à 11% sur le benchmark VHs et offre des améliorations d'efficacité jusqu'à 3,4 fois par rapport aux approches multi-étapes centrées sur le texte.

English

Recent advancements in Large Multimodal Models (LMMs) have made significant progress in the field of single-image visual question answering. However, these models face substantial challenges when tasked with queries that span extensive collections of images, similar to real-world scenarios like searching through large photo albums, finding specific information across the internet, or monitoring environmental changes through satellite imagery. This paper explores the task of Multi-Image Visual Question Answering (MIQA): given a large set of images and a natural language query, the task is to generate a relevant and grounded response. We propose a new public benchmark, dubbed "Visual Haystacks (VHs)," specifically designed to evaluate LMMs' capabilities in visual retrieval and reasoning over sets of unrelated images, where we perform comprehensive evaluations demonstrating that even robust closed-source models struggle significantly. Towards addressing these shortcomings, we introduce MIRAGE (Multi-Image Retrieval Augmented Generation), a novel retrieval/QA framework tailored for LMMs that confronts the challenges of MIQA with marked efficiency and accuracy improvements over baseline methods. Our evaluation shows that MIRAGE surpasses closed-source GPT-4o models by up to 11% on the VHs benchmark and offers up to 3.4x improvements in efficiency over text-focused multi-stage approaches.