Критик-V: Критики VLM помогают выявлять ошибки VLM в мультимодальном рассуждении

Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

November 27, 2024

Авторы: Di Zhang, Jingdi Lei, Junxian Li, Xunzhi Wang, Yujie Liu, Zonglin Yang, Jiatong Li, Weida Wang, Suorong Yang, Jianbo Wu, Peng Ye, Wanli Ouyang, Dongzhan Zhou

cs.AI

Аннотация

Модели видео-языка (VLM) продемонстрировали значительные успехи в задачах мультимодального рассуждения. Однако они по-прежнему часто генерируют неточные или несвязанные ответы из-за проблем, таких как галлюцинации в понимании изображений или недоработанные пути рассуждений. Для решения этих проблем мы представляем Critic-V, новую концепцию, вдохновленную парадигмой Actor-Critic, для улучшения способности рассуждения VLM. Эта концепция разделяет процессы рассуждения и критики путем интеграции двух независимых компонентов: Reasoner, который генерирует пути рассуждений на основе визуальных и текстовых входных данных, и Critic, который предоставляет конструктивную критику для улучшения этих путей. В этом подходе Reasoner генерирует ответы на рассуждения в соответствии с текстовыми подсказками, которые могут эволюционировать итеративно как политика на основе обратной связи от Critic. Этот процесс взаимодействия теоретически обусловлен фреймворком обучения с подкреплением, где Critic предлагает критику на естественном языке вместо скалярных вознаграждений, обеспечивая более тонкую обратную связь для улучшения способностей Reasoner в сложных задачах рассуждения. Модель Critic обучается с использованием оптимизации прямых предпочтений (DPO), используя набор данных предпочтений критики, оцененных по правилам Rule-based Reward (RBR), для улучшения ее критических возможностей. Результаты оценки показывают, что фреймворк Critic-V значительно превосходит существующие методы, включая GPT-4V, на 5 из 8 бенчмарков, особенно в отношении точности и эффективности рассуждений. Комбинирование динамической текстовой политики для Reasoner и конструктивной обратной связи от Critic, оптимизированной по предпочтениям, обеспечивает более надежный и контекстно-чувствительный процесс мультимодального рассуждения. Наш подход предоставляет многообещающее решение для улучшения надежности VLM, повышая их производительность в реальных приложениях с тяжелым уклоном в рассуждениях, таких как автономное вождение и интеллект воплощенного в действиях.

English

Vision-language models~(VLMs) have shown remarkable advancements in multimodal reasoning tasks. However, they still often generate inaccurate or irrelevant responses due to issues like hallucinated image understandings or unrefined reasoning paths. To address these challenges, we introduce Critic-V, a novel framework inspired by the Actor-Critic paradigm to boost the reasoning capability of VLMs. This framework decouples the reasoning process and critic process by integrating two independent components: the Reasoner, which generates reasoning paths based on visual and textual inputs, and the Critic, which provides constructive critique to refine these paths. In this approach, the Reasoner generates reasoning responses according to text prompts, which can evolve iteratively as a policy based on feedback from the Critic. This interaction process was theoretically driven by a reinforcement learning framework where the Critic offers natural language critiques instead of scalar rewards, enabling more nuanced feedback to boost the Reasoner's capability on complex reasoning tasks. The Critic model is trained using Direct Preference Optimization (DPO), leveraging a preference dataset of critiques ranked by Rule-based Reward(RBR) to enhance its critic capabilities. Evaluation results show that the Critic-V framework significantly outperforms existing methods, including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner and constructive feedback from the preference-optimized Critic enables a more reliable and context-sensitive multimodal reasoning process. Our approach provides a promising solution to enhance the reliability of VLMs, improving their performance in real-world reasoning-heavy multimodal applications such as autonomous driving and embodied intelligence.