Critic-V: VLM-critici helpen bij het opsporen van VLM-fouten in multimodaal redeneren.

Samenvatting

Vision-language modellen (VLM's) hebben opmerkelijke vooruitgang geboekt in multimodale redeneertaken. Echter, ze genereren nog vaak onnauwkeurige of irrelevante reacties als gevolg van problemen zoals gehallucineerde beeldinterpretaties of ongeraffineerde redeneerpaden. Om deze uitdagingen aan te pakken, introduceren we Critic-V, een nieuw raamwerk geïnspireerd door het Actor-Critic paradigma om de redeneercapaciteit van VLM's te versterken. Dit raamwerk ontkoppelt het redeneerproces en het kritiekproces door twee onafhankelijke componenten te integreren: de Reasoner, die redeneerpaden genereert op basis van visuele en tekstuele invoer, en de Critic, die constructieve kritiek biedt om deze paden te verfijnen. In deze benadering genereert de Reasoner redeneerreacties volgens tekstuele aanwijzingen, die iteratief kunnen evolueren als een beleid op basis van feedback van de Critic. Dit interactieproces werd theoretisch aangedreven door een reinforcement learning raamwerk waarbij de Critic natuurlijke taalkritieken biedt in plaats van scalaire beloningen, waardoor meer genuanceerde feedback mogelijk is om de capaciteit van de Reasoner op complexe redeneertaken te verbeteren. Het Critic model wordt getraind met Direct Preference Optimization (DPO), waarbij gebruik wordt gemaakt van een voorkeursdataset van kritieken gerangschikt door Rule-based Reward (RBR) om zijn kritieke mogelijkheden te verbeteren. Evaluatieresultaten tonen aan dat het Critic-V raamwerk aanzienlijk beter presteert dan bestaande methoden, waaronder GPT-4V, op 5 van de 8 benchmarks, met name met betrekking tot redeneernauwkeurigheid en efficiëntie. Door een dynamisch op tekst gebaseerd beleid voor de Reasoner te combineren met constructieve feedback van de voorkeurs-geoptimaliseerde Critic, wordt een betrouwbaarder en contextgevoelig multimodaal redeneerproces mogelijk gemaakt. Onze benadering biedt een veelbelovende oplossing om de betrouwbaarheid van VLM's te verbeteren, waardoor hun prestaties in redeneer-intensieve multimodale toepassingen in de echte wereld, zoals autonoom rijden en belichaamde intelligentie, worden verbeterd.

English

Vision-language models~(VLMs) have shown remarkable advancements in multimodal reasoning tasks. However, they still often generate inaccurate or irrelevant responses due to issues like hallucinated image understandings or unrefined reasoning paths. To address these challenges, we introduce Critic-V, a novel framework inspired by the Actor-Critic paradigm to boost the reasoning capability of VLMs. This framework decouples the reasoning process and critic process by integrating two independent components: the Reasoner, which generates reasoning paths based on visual and textual inputs, and the Critic, which provides constructive critique to refine these paths. In this approach, the Reasoner generates reasoning responses according to text prompts, which can evolve iteratively as a policy based on feedback from the Critic. This interaction process was theoretically driven by a reinforcement learning framework where the Critic offers natural language critiques instead of scalar rewards, enabling more nuanced feedback to boost the Reasoner's capability on complex reasoning tasks. The Critic model is trained using Direct Preference Optimization (DPO), leveraging a preference dataset of critiques ranked by Rule-based Reward(RBR) to enhance its critic capabilities. Evaluation results show that the Critic-V framework significantly outperforms existing methods, including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner and constructive feedback from the preference-optimized Critic enables a more reliable and context-sensitive multimodal reasoning process. Our approach provides a promising solution to enhance the reliability of VLMs, improving their performance in real-world reasoning-heavy multimodal applications such as autonomous driving and embodied intelligence.

Critic-V: VLM-critici helpen bij het opsporen van VLM-fouten in multimodaal redeneren.

Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

Samenvatting

Support