Prism : Un Cadre pour le Découplage et l'Évaluation des Capacités des Modèles de Langage Visuel

Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

June 20, 2024

Auteurs: Yuxuan Qiao, Haodong Duan, Xinyu Fang, Junming Yang, Lin Chen, Songyang Zhang, Jiaqi Wang, Dahua Lin, Kai Chen

cs.AI

Résumé

Les modèles de vision et langage (VLMs) démontrent une remarquable compétence dans la résolution d'un large éventail de questions visuelles, ce qui nécessite de solides facultés de perception et de raisonnement. Évaluer ces deux compétences de manière indépendante est crucial pour l'amélioration des modèles, malgré la difficulté inhérente due à la nature entrelacée de la vision et du raisonnement dans les VLMs existants. Pour résoudre ce problème, nous présentons Prism, un cadre innovant conçu pour dissocier les processus de perception et de raisonnement impliqués dans la résolution de questions visuelles. Prism comprend deux étapes distinctes : une étape de perception qui utilise un VLM pour extraire et formuler des informations visuelles sous forme textuelle, et une étape de raisonnement qui formule des réponses basées sur les informations visuelles extraites en utilisant un modèle de langage de grande taille (LLM). Cette conception modulaire permet la comparaison et l'évaluation systématiques des VLMs propriétaires et open-source pour leurs forces en perception et en raisonnement. Notre cadre analytique fournit plusieurs insights précieux, soulignant le potentiel de Prism en tant que solution rentable pour les tâches de vision et langage. En combinant un VLM simplifié axé sur la perception avec un LLM puissant adapté au raisonnement, Prism obtient des résultats supérieurs dans les tâches générales de vision et langage tout en réduisant considérablement les coûts de formation et d'exploitation. Les évaluations quantitatives montrent que Prism, configuré avec un LLaVA 2B standard et un GPT-3.5 librement accessible, offre des performances comparables à celles de VLMs 10 fois plus grands sur le benchmark multimodal rigoureux MMStar. Le projet est disponible à l'adresse : https://github.com/SparksJoe/Prism.

English

Vision Language Models (VLMs) demonstrate remarkable proficiency in addressing a wide array of visual questions, which requires strong perception and reasoning faculties. Assessing these two competencies independently is crucial for model refinement, despite the inherent difficulty due to the intertwined nature of seeing and reasoning in existing VLMs. To tackle this issue, we present Prism, an innovative framework designed to disentangle the perception and reasoning processes involved in visual question solving. Prism comprises two distinct stages: a perception stage that utilizes a VLM to extract and articulate visual information in textual form, and a reasoning stage that formulates responses based on the extracted visual information using a Large Language Model (LLM). This modular design enables the systematic comparison and assessment of both proprietary and open-source VLM for their perception and reasoning strengths. Our analytical framework provides several valuable insights, underscoring Prism's potential as a cost-effective solution for vision-language tasks. By combining a streamlined VLM focused on perception with a powerful LLM tailored for reasoning, Prism achieves superior results in general vision-language tasks while substantially cutting down on training and operational expenses. Quantitative evaluations show that Prism, when configured with a vanilla 2B LLaVA and freely accessible GPT-3.5, delivers performance on par with VLMs 10 times larger on the rigorous multimodal benchmark MMStar. The project is released at: https://github.com/SparksJoe/Prism.