Призма: Фреймворк для разделения и оценки возможностей VLMs

Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

June 20, 2024

Авторы: Yuxuan Qiao, Haodong Duan, Xinyu Fang, Junming Yang, Lin Chen, Songyang Zhang, Jiaqi Wang, Dahua Lin, Kai Chen

cs.AI

Аннотация

Модели видеоязыкового восприятия (VLM) демонстрируют замечательную компетентность в решении широкого спектра визуальных вопросов, что требует сильных способностей восприятия и рассуждения. Оценка этих двух компетенций независимо друг от друга имеет важное значение для усовершенствования модели, несмотря на сложность из-за взаимосвязи восприятия и рассуждения в существующих VLM. Для решения этой проблемы мы представляем Prism, инновационную структуру, разработанную для разъединения процессов восприятия и рассуждения, участвующих в решении визуальных вопросов. Prism состоит из двух отдельных этапов: этапа восприятия, который использует VLM для извлечения и формулирования визуальной информации в текстовой форме, и этапа рассуждения, который формулирует ответы на основе извлеченной визуальной информации с использованием большой языковой модели (LLM). Этот модульный дизайн позволяет систематическое сравнение и оценку как закрытых, так и открытых VLM по их сильным сторонам в восприятии и рассуждении. Наш аналитический каркас предоставляет несколько ценных идей, подчеркивая потенциал Prism как экономически выгодного решения для задач видеоязыкового восприятия. Сочетая в себе упрощенный VLM, сфокусированный на восприятии, с мощным LLM, нацеленным на рассуждение, Prism достигает превосходных результатов в общих задачах видеоязыкового восприятия, существенно снижая расходы на обучение и эксплуатацию. Количественные оценки показывают, что Prism, сконфигурированный с обычным 2B LLaVA и свободно доступным GPT-3.5, демонстрирует производительность на уровне VLM в 10 раз больших на строгом мультимодальном бенчмарке MMStar. Проект доступен по ссылке: https://github.com/SparksJoe/Prism.

English

Vision Language Models (VLMs) demonstrate remarkable proficiency in addressing a wide array of visual questions, which requires strong perception and reasoning faculties. Assessing these two competencies independently is crucial for model refinement, despite the inherent difficulty due to the intertwined nature of seeing and reasoning in existing VLMs. To tackle this issue, we present Prism, an innovative framework designed to disentangle the perception and reasoning processes involved in visual question solving. Prism comprises two distinct stages: a perception stage that utilizes a VLM to extract and articulate visual information in textual form, and a reasoning stage that formulates responses based on the extracted visual information using a Large Language Model (LLM). This modular design enables the systematic comparison and assessment of both proprietary and open-source VLM for their perception and reasoning strengths. Our analytical framework provides several valuable insights, underscoring Prism's potential as a cost-effective solution for vision-language tasks. By combining a streamlined VLM focused on perception with a powerful LLM tailored for reasoning, Prism achieves superior results in general vision-language tasks while substantially cutting down on training and operational expenses. Quantitative evaluations show that Prism, when configured with a vanilla 2B LLaVA and freely accessible GPT-3.5, delivers performance on par with VLMs 10 times larger on the rigorous multimodal benchmark MMStar. The project is released at: https://github.com/SparksJoe/Prism.