BBA: Alinhamento Comportamental Bimodal para Raciocínio com Grandes Modelos de Visão e Linguagem

BBA: Bi-Modal Behavioral Alignment for Reasoning with Large Vision-Language Models

February 21, 2024

Autores: Xueliang Zhao, Xinting Huang, Tingchen Fu, Qintong Li, Shansan Gong, Lemao Liu, Wei Bi, Lingpeng Kong

cs.AI

Resumo

O raciocínio multimodal representa uma capacidade fundamental para grandes modelos de visão e linguagem (LVLMs, na sigla em inglês). A integração com Linguagens Específicas de Domínio (DSL, na sigla em inglês), que oferecem representações visuais precisas, capacita esses modelos a realizar raciocínios mais precisos em domínios complexos e especializados. No entanto, o método tradicional de prompt de Cadeia de Pensamento (CoT, na sigla em inglês) enfrenta desafios ao tentar aproveitar efetivamente as vantagens únicas das representações visuais e das DSLs, principalmente devido aos seus mecanismos de raciocínio distintos. Além disso, ele frequentemente falha em abordar etapas críticas em tarefas de raciocínio de múltiplos passos. Para mitigar esses desafios, introduzimos o método de prompt de Alinhamento Comportamental Bimodal (BBA, na sigla em inglês), projetado para maximizar o potencial das DSLs no aprimoramento de tarefas complexas de raciocínio multimodal. Esse método começa orientando os LVLMs a criar cadeias de raciocínio separadas para as representações visuais e das DSLs. Em seguida, ele alinha essas cadeias ao resolver quaisquer inconsistências, alcançando assim uma integração coesa dos comportamentos de diferentes modalidades. Nossos experimentos demonstram que o BBA melhora substancialmente o desempenho do GPT-4V(ision) na resolução de problemas de geometria (de 28,34% para 34,22%), na previsão de vantagem posicional no xadrez (de 42,08% para 46,99%) e na previsão de propriedades moleculares (de 77,47% para 83,52%).

English

Multimodal reasoning stands as a pivotal capability for large vision-language models (LVLMs). The integration with Domain-Specific Languages (DSL), offering precise visual representations, equips these models with the opportunity to execute more accurate reasoning in complex and professional domains. However, the vanilla Chain-of-Thought (CoT) prompting method faces challenges in effectively leveraging the unique strengths of visual and DSL representations, primarily due to their differing reasoning mechanisms. Additionally, it often falls short in addressing critical steps in multi-step reasoning tasks. To mitigate these challenges, we introduce the Bi-Modal Behavioral Alignment (BBA) prompting method, designed to maximize the potential of DSL in augmenting complex multi-modal reasoning tasks. This method initiates by guiding LVLMs to create separate reasoning chains for visual and DSL representations. Subsequently, it aligns these chains by addressing any inconsistencies, thus achieving a cohesive integration of behaviors from different modalities. Our experiments demonstrate that BBA substantially improves the performance of GPT-4V(ision) on geometry problem solving (28.34% to 34.22%), chess positional advantage prediction (42.08% to 46.99%) and molecular property prediction (77.47% to 83.52%).