Prism: Un marco para desacoplar y evaluar las capacidades de los modelos de lenguaje visual

Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

June 20, 2024

Autores: Yuxuan Qiao, Haodong Duan, Xinyu Fang, Junming Yang, Lin Chen, Songyang Zhang, Jiaqi Wang, Dahua Lin, Kai Chen

cs.AI

Resumen

Los Modelos de Lenguaje Visual (VLMs, por sus siglas en inglés) demuestran una notable competencia para abordar una amplia gama de preguntas visuales, lo que requiere fuertes capacidades de percepción y razonamiento. Evaluar estas dos competencias de manera independiente es crucial para el refinamiento de los modelos, a pesar de la inherente dificultad debido a la naturaleza entrelazada de la percepción y el razonamiento en los VLMs existentes. Para abordar este problema, presentamos Prism, un marco innovador diseñado para desentrañar los procesos de percepción y razonamiento involucrados en la resolución de preguntas visuales. Prism consta de dos etapas distintas: una etapa de percepción que utiliza un VLM para extraer y articular información visual en forma textual, y una etapa de razonamiento que formula respuestas basadas en la información visual extraída utilizando un Modelo de Lenguaje Grande (LLM, por sus siglas en inglés). Este diseño modular permite la comparación y evaluación sistemática tanto de VLMs propietarios como de código abierto en términos de sus fortalezas en percepción y razonamiento. Nuestro marco analítico proporciona varias ideas valiosas, destacando el potencial de Prism como una solución rentable para tareas de visión y lenguaje. Al combinar un VLM simplificado centrado en la percepción con un LLM potente adaptado para el razonamiento, Prism logra resultados superiores en tareas generales de visión y lenguaje mientras reduce sustancialmente los costos de entrenamiento y operación. Las evaluaciones cuantitativas muestran que Prism, cuando se configura con un LLaVA 2B básico y un GPT-3.5 de acceso gratuito, ofrece un rendimiento comparable al de VLMs 10 veces más grandes en el riguroso punto de referencia multimodal MMStar. El proyecto se encuentra disponible en: https://github.com/SparksJoe/Prism.

English

Vision Language Models (VLMs) demonstrate remarkable proficiency in addressing a wide array of visual questions, which requires strong perception and reasoning faculties. Assessing these two competencies independently is crucial for model refinement, despite the inherent difficulty due to the intertwined nature of seeing and reasoning in existing VLMs. To tackle this issue, we present Prism, an innovative framework designed to disentangle the perception and reasoning processes involved in visual question solving. Prism comprises two distinct stages: a perception stage that utilizes a VLM to extract and articulate visual information in textual form, and a reasoning stage that formulates responses based on the extracted visual information using a Large Language Model (LLM). This modular design enables the systematic comparison and assessment of both proprietary and open-source VLM for their perception and reasoning strengths. Our analytical framework provides several valuable insights, underscoring Prism's potential as a cost-effective solution for vision-language tasks. By combining a streamlined VLM focused on perception with a powerful LLM tailored for reasoning, Prism achieves superior results in general vision-language tasks while substantially cutting down on training and operational expenses. Quantitative evaluations show that Prism, when configured with a vanilla 2B LLaVA and freely accessible GPT-3.5, delivers performance on par with VLMs 10 times larger on the rigorous multimodal benchmark MMStar. The project is released at: https://github.com/SparksJoe/Prism.