Prism: Un Framework per Disaccoppiare e Valutare le Capacità dei Modelli Linguistici Visivi

Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

June 20, 2024

Autori: Yuxuan Qiao, Haodong Duan, Xinyu Fang, Junming Yang, Lin Chen, Songyang Zhang, Jiaqi Wang, Dahua Lin, Kai Chen

cs.AI

Abstract

I modelli linguistici visivi (VLMs) dimostrano una notevole competenza nell'affrontare un'ampia gamma di domande visive, il che richiede forti capacità di percezione e ragionamento. Valutare queste due competenze in modo indipendente è cruciale per il perfezionamento del modello, nonostante la difficoltà intrinseca dovuta alla natura intrecciata della visione e del ragionamento nei VLMs esistenti. Per affrontare questo problema, presentiamo Prism, un framework innovativo progettato per separare i processi di percezione e ragionamento coinvolti nella risoluzione di domande visive. Prism comprende due fasi distinte: una fase di percezione che utilizza un VLM per estrarre e articolare le informazioni visive in forma testuale, e una fase di ragionamento che formula risposte basate sulle informazioni visive estratte utilizzando un modello linguistico di grandi dimensioni (LLM). Questo design modulare consente il confronto sistematico e la valutazione sia dei VLMs proprietari che di quelli open-source per i loro punti di forza in termini di percezione e ragionamento. Il nostro framework analitico fornisce diverse intuizioni preziose, sottolineando il potenziale di Prism come soluzione economica per i compiti di visione e linguaggio. Combinando un VLM semplificato focalizzato sulla percezione con un potente LLM ottimizzato per il ragionamento, Prism ottiene risultati superiori nei compiti generali di visione e linguaggio, riducendo sostanzialmente i costi di formazione e operativi. Le valutazioni quantitative mostrano che Prism, configurato con un semplice LLaVA da 2B e il liberamente accessibile GPT-3.5, offre prestazioni paragonabili a VLMs 10 volte più grandi sul rigoroso benchmark multimodale MMStar. Il progetto è disponibile all'indirizzo: https://github.com/SparksJoe/Prism.

English

Vision Language Models (VLMs) demonstrate remarkable proficiency in addressing a wide array of visual questions, which requires strong perception and reasoning faculties. Assessing these two competencies independently is crucial for model refinement, despite the inherent difficulty due to the intertwined nature of seeing and reasoning in existing VLMs. To tackle this issue, we present Prism, an innovative framework designed to disentangle the perception and reasoning processes involved in visual question solving. Prism comprises two distinct stages: a perception stage that utilizes a VLM to extract and articulate visual information in textual form, and a reasoning stage that formulates responses based on the extracted visual information using a Large Language Model (LLM). This modular design enables the systematic comparison and assessment of both proprietary and open-source VLM for their perception and reasoning strengths. Our analytical framework provides several valuable insights, underscoring Prism's potential as a cost-effective solution for vision-language tasks. By combining a streamlined VLM focused on perception with a powerful LLM tailored for reasoning, Prism achieves superior results in general vision-language tasks while substantially cutting down on training and operational expenses. Quantitative evaluations show that Prism, when configured with a vanilla 2B LLaVA and freely accessible GPT-3.5, delivers performance on par with VLMs 10 times larger on the rigorous multimodal benchmark MMStar. The project is released at: https://github.com/SparksJoe/Prism.