Prism: Um Framework para Desacoplar e Avaliar as Capacidades de VLMs

Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

June 20, 2024

Autores: Yuxuan Qiao, Haodong Duan, Xinyu Fang, Junming Yang, Lin Chen, Songyang Zhang, Jiaqi Wang, Dahua Lin, Kai Chen

cs.AI

Resumo

Os Modelos de Linguagem Visual (VLMs) demonstram uma proficiência notável ao lidar com uma ampla gama de questões visuais, o que exige fortes habilidades de percepção e raciocínio. Avaliar essas duas competências de forma independente é crucial para o refinamento do modelo, apesar da dificuldade inerente devido à natureza interligada de ver e raciocinar nos VLMs existentes. Para enfrentar esse desafio, apresentamos o Prism, uma estrutura inovadora projetada para desvincular os processos de percepção e raciocínio envolvidos na resolução de questões visuais. O Prism compreende dois estágios distintos: um estágio de percepção que utiliza um VLM para extrair e articular informações visuais em formato textual, e um estágio de raciocínio que formula respostas com base nas informações visuais extraídas, utilizando um Modelo de Linguagem de Grande Escala (LLM). Esse design modular permite a comparação e avaliação sistemática tanto de VLMs proprietários quanto de código aberto em relação às suas forças de percepção e raciocínio. Nossa estrutura analítica fornece várias percepções valiosas, destacando o potencial do Prism como uma solução econômica para tarefas de linguagem visual. Ao combinar um VLM simplificado focado em percepção com um LLM poderoso adaptado para raciocínio, o Prism alcança resultados superiores em tarefas gerais de linguagem visual, reduzindo substancialmente os custos de treinamento e operação. Avaliações quantitativas mostram que o Prism, quando configurado com um LLaVA 2B básico e o GPT-3.5 de acesso livre, oferece um desempenho comparável a VLMs 10 vezes maiores no rigoroso benchmark multimodal MMStar. O projeto está disponível em: https://github.com/SparksJoe/Prism.

English

Vision Language Models (VLMs) demonstrate remarkable proficiency in addressing a wide array of visual questions, which requires strong perception and reasoning faculties. Assessing these two competencies independently is crucial for model refinement, despite the inherent difficulty due to the intertwined nature of seeing and reasoning in existing VLMs. To tackle this issue, we present Prism, an innovative framework designed to disentangle the perception and reasoning processes involved in visual question solving. Prism comprises two distinct stages: a perception stage that utilizes a VLM to extract and articulate visual information in textual form, and a reasoning stage that formulates responses based on the extracted visual information using a Large Language Model (LLM). This modular design enables the systematic comparison and assessment of both proprietary and open-source VLM for their perception and reasoning strengths. Our analytical framework provides several valuable insights, underscoring Prism's potential as a cost-effective solution for vision-language tasks. By combining a streamlined VLM focused on perception with a powerful LLM tailored for reasoning, Prism achieves superior results in general vision-language tasks while substantially cutting down on training and operational expenses. Quantitative evaluations show that Prism, when configured with a vanilla 2B LLaVA and freely accessible GPT-3.5, delivers performance on par with VLMs 10 times larger on the rigorous multimodal benchmark MMStar. The project is released at: https://github.com/SparksJoe/Prism.