Prism: Een raamwerk voor het ontkoppelen en beoordelen van de capaciteiten van VLMs

Samenvatting

Vision Language Models (VLMs) tonen een opmerkelijke vaardigheid in het aanpakken van een breed scala aan visuele vragen, wat sterke perceptie- en redeneervaardigheden vereist. Het onafhankelijk beoordelen van deze twee competenties is cruciaal voor modelverfijning, ondanks de inherente moeilijkheid vanwege de verweven aard van zien en redeneren in bestaande VLMs. Om dit probleem aan te pakken, presenteren we Prism, een innovatief framework ontworpen om de perceptie- en redeneerprocessen bij het oplossen van visuele vragen te ontwarren. Prism bestaat uit twee afzonderlijke fasen: een perceptiefase die een VLM gebruikt om visuele informatie te extraheren en in tekstuele vorm te articuleren, en een redeneerfase die antwoorden formuleert op basis van de geëxtraheerde visuele informatie met behulp van een Large Language Model (LLM). Deze modulaire ontwerp maakt het mogelijk om zowel propriëtaire als open-source VLMs systematisch te vergelijken en te beoordelen op hun perceptie- en redeneerkracht. Ons analytische framework biedt verschillende waardevolle inzichten, die het potentieel van Prism als een kosteneffectieve oplossing voor visueel-taaltaken onderstrepen. Door een gestroomlijnde VLM gericht op perceptie te combineren met een krachtige LLM afgestemd op redeneren, behaalt Prism superieure resultaten in algemene visueel-taaltaken terwijl de trainings- en operationele kosten aanzienlijk worden verlaagd. Kwantitatieve evaluaties tonen aan dat Prism, wanneer geconfigureerd met een standaard 2B LLaVA en vrij toegankelijke GPT-3.5, prestaties levert die vergelijkbaar zijn met VLMs die 10 keer groter zijn op de rigoureuze multimodale benchmark MMStar. Het project is vrijgegeven op: https://github.com/SparksJoe/Prism.

English

Vision Language Models (VLMs) demonstrate remarkable proficiency in addressing a wide array of visual questions, which requires strong perception and reasoning faculties. Assessing these two competencies independently is crucial for model refinement, despite the inherent difficulty due to the intertwined nature of seeing and reasoning in existing VLMs. To tackle this issue, we present Prism, an innovative framework designed to disentangle the perception and reasoning processes involved in visual question solving. Prism comprises two distinct stages: a perception stage that utilizes a VLM to extract and articulate visual information in textual form, and a reasoning stage that formulates responses based on the extracted visual information using a Large Language Model (LLM). This modular design enables the systematic comparison and assessment of both proprietary and open-source VLM for their perception and reasoning strengths. Our analytical framework provides several valuable insights, underscoring Prism's potential as a cost-effective solution for vision-language tasks. By combining a streamlined VLM focused on perception with a powerful LLM tailored for reasoning, Prism achieves superior results in general vision-language tasks while substantially cutting down on training and operational expenses. Quantitative evaluations show that Prism, when configured with a vanilla 2B LLaVA and freely accessible GPT-3.5, delivers performance on par with VLMs 10 times larger on the rigorous multimodal benchmark MMStar. The project is released at: https://github.com/SparksJoe/Prism.

Prism: Een raamwerk voor het ontkoppelen en beoordelen van de capaciteiten van VLMs

Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

Samenvatting

Support