Prism: Ein Rahmenwerk zur Entkopplung und Bewertung der Fähigkeiten von VLMs

Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

June 20, 2024

Autoren: Yuxuan Qiao, Haodong Duan, Xinyu Fang, Junming Yang, Lin Chen, Songyang Zhang, Jiaqi Wang, Dahua Lin, Kai Chen

cs.AI

Zusammenfassung

Vision Language Models (VLMs) zeigen bemerkenswerte Kompetenz bei der Bearbeitung einer Vielzahl von visuellen Fragen, was starke Wahrnehmungs- und Denkfähigkeiten erfordert. Die separate Bewertung dieser beiden Fähigkeiten ist entscheidend für die Modellverbesserung, trotz der inhärenten Schwierigkeit aufgrund der verflochtenen Natur des Sehens und Denkens in bestehenden VLMs. Um dieses Problem anzugehen, präsentieren wir Prism, ein innovatives Framework, das entwickelt wurde, um die Wahrnehmungs- und Denkprozesse bei der Lösung visueller Fragen zu entflechten. Prism besteht aus zwei unterschiedlichen Phasen: einer Wahrnehmungsphase, die ein VLM verwendet, um visuelle Informationen in Textform zu extrahieren und zu artikulieren, und einer Denkphase, die Antworten auf der extrahierten visuellen Information basierend formuliert, unter Verwendung eines Large Language Models (LLM). Dieses modulare Design ermöglicht den systematischen Vergleich und die Bewertung sowohl proprietärer als auch Open-Source VLMs hinsichtlich ihrer Wahrnehmungs- und Denkstärken. Unser analytisches Framework liefert mehrere wertvolle Erkenntnisse, die das Potenzial von Prism als kostengünstige Lösung für Vision-Language-Aufgaben hervorheben. Durch die Kombination eines schlanken VLMs, das sich auf Wahrnehmung konzentriert, mit einem leistungsstarken LLM, das auf Denken zugeschnitten ist, erzielt Prism überlegene Ergebnisse bei allgemeinen Vision-Language-Aufgaben und reduziert dabei erheblich Schulungs- und Betriebskosten. Quantitative Bewertungen zeigen, dass Prism, konfiguriert mit einem Standard-2B-LLaVA und dem frei zugänglichen GPT-3.5, Leistungen erbringt, die auf dem anspruchsvollen multimodalen Benchmark MMStar mit VLMs, die zehnmal größer sind, vergleichbar sind. Das Projekt ist unter folgendem Link verfügbar: https://github.com/SparksJoe/Prism.

English

Vision Language Models (VLMs) demonstrate remarkable proficiency in addressing a wide array of visual questions, which requires strong perception and reasoning faculties. Assessing these two competencies independently is crucial for model refinement, despite the inherent difficulty due to the intertwined nature of seeing and reasoning in existing VLMs. To tackle this issue, we present Prism, an innovative framework designed to disentangle the perception and reasoning processes involved in visual question solving. Prism comprises two distinct stages: a perception stage that utilizes a VLM to extract and articulate visual information in textual form, and a reasoning stage that formulates responses based on the extracted visual information using a Large Language Model (LLM). This modular design enables the systematic comparison and assessment of both proprietary and open-source VLM for their perception and reasoning strengths. Our analytical framework provides several valuable insights, underscoring Prism's potential as a cost-effective solution for vision-language tasks. By combining a streamlined VLM focused on perception with a powerful LLM tailored for reasoning, Prism achieves superior results in general vision-language tasks while substantially cutting down on training and operational expenses. Quantitative evaluations show that Prism, when configured with a vanilla 2B LLaVA and freely accessible GPT-3.5, delivers performance on par with VLMs 10 times larger on the rigorous multimodal benchmark MMStar. The project is released at: https://github.com/SparksJoe/Prism.