BBA: Alineación Conductual Bimodal para el Razonamiento con Modelos de Visión y Lenguaje a Gran Escala

BBA: Bi-Modal Behavioral Alignment for Reasoning with Large Vision-Language Models

February 21, 2024

Autores: Xueliang Zhao, Xinting Huang, Tingchen Fu, Qintong Li, Shansan Gong, Lemao Liu, Wei Bi, Lingpeng Kong

cs.AI

Resumen

El razonamiento multimodal se erige como una capacidad fundamental para los grandes modelos de visión y lenguaje (LVLMs, por sus siglas en inglés). La integración con Lenguajes Específicos de Dominio (DSL), que ofrecen representaciones visuales precisas, brinda a estos modelos la oportunidad de realizar razonamientos más exactos en dominios complejos y profesionales. Sin embargo, el método estándar de prompting de Cadena de Pensamiento (CoT) enfrenta desafíos para aprovechar eficazmente las fortalezas únicas de las representaciones visuales y DSL, principalmente debido a sus mecanismos de razonamiento divergentes. Además, a menudo no logra abordar pasos críticos en tareas de razonamiento de múltiples etapas. Para mitigar estos desafíos, presentamos el método de prompting de Alineación Conductual Bimodal (BBA), diseñado para maximizar el potencial de los DSL en la mejora de tareas complejas de razonamiento multimodal. Este método comienza guiando a los LVLMs para crear cadenas de razonamiento separadas para las representaciones visuales y DSL. Posteriormente, alinea estas cadenas abordando cualquier inconsistencia, logrando así una integración cohesiva de comportamientos de diferentes modalidades. Nuestros experimentos demuestran que BBA mejora sustancialmente el rendimiento de GPT-4V(isión) en la resolución de problemas de geometría (del 28,34% al 34,22%), la predicción de ventaja posicional en ajedrez (del 42,08% al 46,99%) y la predicción de propiedades moleculares (del 77,47% al 83,52%).

English

Multimodal reasoning stands as a pivotal capability for large vision-language models (LVLMs). The integration with Domain-Specific Languages (DSL), offering precise visual representations, equips these models with the opportunity to execute more accurate reasoning in complex and professional domains. However, the vanilla Chain-of-Thought (CoT) prompting method faces challenges in effectively leveraging the unique strengths of visual and DSL representations, primarily due to their differing reasoning mechanisms. Additionally, it often falls short in addressing critical steps in multi-step reasoning tasks. To mitigate these challenges, we introduce the Bi-Modal Behavioral Alignment (BBA) prompting method, designed to maximize the potential of DSL in augmenting complex multi-modal reasoning tasks. This method initiates by guiding LVLMs to create separate reasoning chains for visual and DSL representations. Subsequently, it aligns these chains by addressing any inconsistencies, thus achieving a cohesive integration of behaviors from different modalities. Our experiments demonstrate that BBA substantially improves the performance of GPT-4V(ision) on geometry problem solving (28.34% to 34.22%), chess positional advantage prediction (42.08% to 46.99%) and molecular property prediction (77.47% to 83.52%).