Critic-V: Los críticos de VLM ayudan a detectar errores de VLM en el razonamiento multimodal.

Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

November 27, 2024

Autores: Di Zhang, Jingdi Lei, Junxian Li, Xunzhi Wang, Yujie Liu, Zonglin Yang, Jiatong Li, Weida Wang, Suorong Yang, Jianbo Wu, Peng Ye, Wanli Ouyang, Dongzhan Zhou

cs.AI

Resumen

Los modelos de visión-lenguaje (VLMs) han demostrado avances notables en tareas de razonamiento multimodal. Sin embargo, a menudo generan respuestas inexactas o irrelevantes debido a problemas como comprensiones de imágenes alucinadas o caminos de razonamiento poco refinados. Para abordar estos desafíos, presentamos Critic-V, un marco novedoso inspirado en el paradigma Actor-Critic para potenciar la capacidad de razonamiento de los VLMs. Este marco desacopla el proceso de razonamiento y el proceso crítico al integrar dos componentes independientes: el Razonador, que genera caminos de razonamiento basados en entradas visuales y textuales, y el Crítico, que ofrece críticas constructivas para refinar estos caminos. En este enfoque, el Razonador genera respuestas de razonamiento según indicaciones de texto, que pueden evolucionar de manera iterativa como una política basada en retroalimentación del Crítico. Este proceso de interacción se basó teóricamente en un marco de aprendizaje por refuerzo donde el Crítico ofrece críticas en lenguaje natural en lugar de recompensas escalares, permitiendo una retroalimentación más matizada para potenciar la capacidad del Razonador en tareas de razonamiento complejas. El modelo Crítico se entrena utilizando Optimización de Preferencias Directas (DPO), aprovechando un conjunto de datos de preferencias de críticas clasificadas por Recompensa Basada en Reglas (RBR) para mejorar sus capacidades críticas. Los resultados de evaluación muestran que el marco Critic-V supera significativamente a los métodos existentes, incluido GPT-4V, en 5 de 8 pruebas, especialmente en cuanto a precisión y eficiencia de razonamiento. Combinar una política dinámica basada en texto para el Razonador y la retroalimentación constructiva del Crítico optimizado por preferencias permite un proceso de razonamiento multimodal más confiable y sensible al contexto. Nuestro enfoque ofrece una solución prometedora para mejorar la confiabilidad de los VLMs, mejorando su rendimiento en aplicaciones multimodales del mundo real con un fuerte componente de razonamiento, como la conducción autónoma y la inteligencia incorporada.

English

Vision-language models~(VLMs) have shown remarkable advancements in multimodal reasoning tasks. However, they still often generate inaccurate or irrelevant responses due to issues like hallucinated image understandings or unrefined reasoning paths. To address these challenges, we introduce Critic-V, a novel framework inspired by the Actor-Critic paradigm to boost the reasoning capability of VLMs. This framework decouples the reasoning process and critic process by integrating two independent components: the Reasoner, which generates reasoning paths based on visual and textual inputs, and the Critic, which provides constructive critique to refine these paths. In this approach, the Reasoner generates reasoning responses according to text prompts, which can evolve iteratively as a policy based on feedback from the Critic. This interaction process was theoretically driven by a reinforcement learning framework where the Critic offers natural language critiques instead of scalar rewards, enabling more nuanced feedback to boost the Reasoner's capability on complex reasoning tasks. The Critic model is trained using Direct Preference Optimization (DPO), leveraging a preference dataset of critiques ranked by Rule-based Reward(RBR) to enhance its critic capabilities. Evaluation results show that the Critic-V framework significantly outperforms existing methods, including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner and constructive feedback from the preference-optimized Critic enables a more reliable and context-sensitive multimodal reasoning process. Our approach provides a promising solution to enhance the reliability of VLMs, improving their performance in real-world reasoning-heavy multimodal applications such as autonomous driving and embodied intelligence.