Critic-V: Críticos de VLM Auxiliam na Detecção de Erros de VLM na Raciocínio Multimodal

Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

November 27, 2024

Autores: Di Zhang, Jingdi Lei, Junxian Li, Xunzhi Wang, Yujie Liu, Zonglin Yang, Jiatong Li, Weida Wang, Suorong Yang, Jianbo Wu, Peng Ye, Wanli Ouyang, Dongzhan Zhou

cs.AI

Resumo

Os modelos de visão-linguagem (VLMs) têm demonstrado avanços notáveis em tarefas de raciocínio multimodal. No entanto, ainda costumam gerar respostas imprecisas ou irrelevantes devido a problemas como compreensões de imagem alucinadas ou caminhos de raciocínio não refinados. Para enfrentar esses desafios, apresentamos o Critic-V, um novo framework inspirado no paradigma Ator-Crítico para impulsionar a capacidade de raciocínio dos VLMs. Esse framework desvincula o processo de raciocínio e o processo crítico ao integrar dois componentes independentes: o Raciocinador, que gera caminhos de raciocínio com base em entradas visuais e textuais, e o Crítico, que fornece críticas construtivas para refinar esses caminhos. Neste enfoque, o Raciocinador gera respostas de raciocínio de acordo com prompts de texto, que podem evoluir iterativamente como uma política com base no feedback do Crítico. Esse processo de interação foi teoricamente impulsionado por um framework de aprendizado por reforço, no qual o Crítico oferece críticas em linguagem natural em vez de recompensas escalares, possibilitando um feedback mais refinado para impulsionar a capacidade do Raciocinador em tarefas de raciocínio complexas. O modelo Crítico é treinado usando a Otimização de Preferência Direta (OPD), aproveitando um conjunto de dados de preferências de críticas classificadas por Recompensa Baseada em Regras (RBR) para aprimorar suas capacidades críticas. Resultados de avaliação mostram que o framework Critic-V supera significativamente os métodos existentes, incluindo o GPT-4V, em 5 de 8 benchmarks, especialmente em relação à precisão e eficiência de raciocínio. Combinar uma política dinâmica baseada em texto para o Raciocinador e feedback construtivo do Crítico otimizado por preferência possibilita um processo de raciocínio multimodal mais confiável e sensível ao contexto. Nossa abordagem oferece uma solução promissora para aprimorar a confiabilidade dos VLMs, melhorando seu desempenho em aplicações multimodais do mundo real com carga de raciocínio pesada, como direção autônoma e inteligência corporificada.

English

Vision-language models~(VLMs) have shown remarkable advancements in multimodal reasoning tasks. However, they still often generate inaccurate or irrelevant responses due to issues like hallucinated image understandings or unrefined reasoning paths. To address these challenges, we introduce Critic-V, a novel framework inspired by the Actor-Critic paradigm to boost the reasoning capability of VLMs. This framework decouples the reasoning process and critic process by integrating two independent components: the Reasoner, which generates reasoning paths based on visual and textual inputs, and the Critic, which provides constructive critique to refine these paths. In this approach, the Reasoner generates reasoning responses according to text prompts, which can evolve iteratively as a policy based on feedback from the Critic. This interaction process was theoretically driven by a reinforcement learning framework where the Critic offers natural language critiques instead of scalar rewards, enabling more nuanced feedback to boost the Reasoner's capability on complex reasoning tasks. The Critic model is trained using Direct Preference Optimization (DPO), leveraging a preference dataset of critiques ranked by Rule-based Reward(RBR) to enhance its critic capabilities. Evaluation results show that the Critic-V framework significantly outperforms existing methods, including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner and constructive feedback from the preference-optimized Critic enables a more reliable and context-sensitive multimodal reasoning process. Our approach provides a promising solution to enhance the reliability of VLMs, improving their performance in real-world reasoning-heavy multimodal applications such as autonomous driving and embodied intelligence.