Kritiker-V: VLM-Kritiker helfen dabei, VLM-Fehler in multimodalem Denken aufzudecken.

Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

November 27, 2024

Autoren: Di Zhang, Jingdi Lei, Junxian Li, Xunzhi Wang, Yujie Liu, Zonglin Yang, Jiatong Li, Weida Wang, Suorong Yang, Jianbo Wu, Peng Ye, Wanli Ouyang, Dongzhan Zhou

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) haben bemerkenswerte Fortschritte bei multimodalen Denkaufgaben gezeigt. Dennoch erzeugen sie oft ungenaue oder irrelevante Antworten aufgrund von Problemen wie halluzinierten Bildverständnissen oder unverfeinerten Denkpfaden. Um diesen Herausforderungen zu begegnen, stellen wir Critic-V vor, ein neuartiges Framework, das vom Actor-Critic-Paradigma inspiriert ist, um die Denkfähigkeit von VLMs zu steigern. Dieses Framework entkoppelt den Denkprozess und den Kritikprozess, indem es zwei unabhängige Komponenten integriert: den Reasoner, der Denkpfade auf der Grundlage visueller und textueller Eingaben generiert, und den Critic, der konstruktive Kritik bereitstellt, um diese Pfade zu verfeinern. In diesem Ansatz generiert der Reasoner Denkantworten gemäß Texteingaben, die sich iterativ als Richtlinie entwickeln können, basierend auf dem Feedback des Critics. Dieser Interaktionsprozess wurde theoretisch von einem Verstärkungslernrahmen geleitet, bei dem der Critic anstelle von skalaren Belohnungen sprachliche Kritiken anbietet, um nuancierteres Feedback zur Steigerung der Fähigkeit des Reasoners bei komplexen Denkaufgaben zu ermöglichen. Das Critic-Modell wird mit der Direkten Präferenzoptimierung (DPO) trainiert, wobei ein Präferenzdatensatz von Kritiken, bewertet durch Regelbasierte Belohnung (RBR), genutzt wird, um seine Kritikfähigkeiten zu verbessern. Evaluierungsergebnisse zeigen, dass das Critic-V-Framework signifikant bessere Leistungen als bestehende Methoden, einschließlich GPT-4V, bei 5 von 8 Benchmarks erzielt, insbesondere hinsichtlich der Denkgenauigkeit und -effizienz. Die Kombination einer dynamischen textbasierten Richtlinie für den Reasoner und konstruktives Feedback vom präferenzoptimierten Critic ermöglicht einen zuverlässigeren und kontextsensitiven multimodalen Denkprozess. Unser Ansatz bietet eine vielversprechende Lösung zur Verbesserung der Zuverlässigkeit von VLMs und zur Steigerung ihrer Leistungsfähigkeit in realen, denkschweren multimodalen Anwendungen wie autonomes Fahren und verkörperte Intelligenz.

English

Vision-language models~(VLMs) have shown remarkable advancements in multimodal reasoning tasks. However, they still often generate inaccurate or irrelevant responses due to issues like hallucinated image understandings or unrefined reasoning paths. To address these challenges, we introduce Critic-V, a novel framework inspired by the Actor-Critic paradigm to boost the reasoning capability of VLMs. This framework decouples the reasoning process and critic process by integrating two independent components: the Reasoner, which generates reasoning paths based on visual and textual inputs, and the Critic, which provides constructive critique to refine these paths. In this approach, the Reasoner generates reasoning responses according to text prompts, which can evolve iteratively as a policy based on feedback from the Critic. This interaction process was theoretically driven by a reinforcement learning framework where the Critic offers natural language critiques instead of scalar rewards, enabling more nuanced feedback to boost the Reasoner's capability on complex reasoning tasks. The Critic model is trained using Direct Preference Optimization (DPO), leveraging a preference dataset of critiques ranked by Rule-based Reward(RBR) to enhance its critic capabilities. Evaluation results show that the Critic-V framework significantly outperforms existing methods, including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner and constructive feedback from the preference-optimized Critic enables a more reliable and context-sensitive multimodal reasoning process. Our approach provides a promising solution to enhance the reliability of VLMs, improving their performance in real-world reasoning-heavy multimodal applications such as autonomous driving and embodied intelligence.