BBA: Би-модальное выравнивание поведенческих характеристик для рассуждений с использованием крупных визуально-языковых моделей

BBA: Bi-Modal Behavioral Alignment for Reasoning with Large Vision-Language Models

February 21, 2024

Авторы: Xueliang Zhao, Xinting Huang, Tingchen Fu, Qintong Li, Shansan Gong, Lemao Liu, Wei Bi, Lingpeng Kong

cs.AI

Аннотация

Мультимодальное рассуждение является ключевой способностью для крупных моделей, работающих с визуальными и языковыми данными (LVLMs). Интеграция с предметно-ориентированными языками (DSL), которые предоставляют точные визуальные представления, позволяет этим моделям выполнять более точные рассуждения в сложных и профессиональных областях. Однако стандартный метод Chain-of-Thought (CoT) сталкивается с трудностями в эффективном использовании уникальных преимуществ визуальных и DSL-представлений, в основном из-за различий в механизмах рассуждения. Кроме того, он часто не справляется с критическими этапами в задачах многошагового рассуждения. Для решения этих проблем мы представляем метод Bi-Modal Behavioral Alignment (BBA), разработанный для максимального раскрытия потенциала DSL в улучшении сложных мультимодальных задач рассуждения. Этот метод сначала направляет LVLMs на создание отдельных цепочек рассуждений для визуальных и DSL-представлений. Затем он согласовывает эти цепочки, устраняя любые несоответствия, достигая тем самым согласованной интеграции поведения различных модальностей. Наши эксперименты показывают, что BBA значительно улучшает производительность GPT-4V(ision) в решении геометрических задач (с 28,34% до 34,22%), прогнозировании позиционного преимущества в шахматах (с 42,08% до 46,99%) и предсказании свойств молекул (с 77,47% до 83,52%).

English

Multimodal reasoning stands as a pivotal capability for large vision-language models (LVLMs). The integration with Domain-Specific Languages (DSL), offering precise visual representations, equips these models with the opportunity to execute more accurate reasoning in complex and professional domains. However, the vanilla Chain-of-Thought (CoT) prompting method faces challenges in effectively leveraging the unique strengths of visual and DSL representations, primarily due to their differing reasoning mechanisms. Additionally, it often falls short in addressing critical steps in multi-step reasoning tasks. To mitigate these challenges, we introduce the Bi-Modal Behavioral Alignment (BBA) prompting method, designed to maximize the potential of DSL in augmenting complex multi-modal reasoning tasks. This method initiates by guiding LVLMs to create separate reasoning chains for visual and DSL representations. Subsequently, it aligns these chains by addressing any inconsistencies, thus achieving a cohesive integration of behaviors from different modalities. Our experiments demonstrate that BBA substantially improves the performance of GPT-4V(ision) on geometry problem solving (28.34% to 34.22%), chess positional advantage prediction (42.08% to 46.99%) and molecular property prediction (77.47% to 83.52%).