BBA: Allineamento Comportamentale Bi-Modale per il Ragionamento con Modelli Linguistico-Visuali di Grande Scala

BBA: Bi-Modal Behavioral Alignment for Reasoning with Large Vision-Language Models

February 21, 2024

Autori: Xueliang Zhao, Xinting Huang, Tingchen Fu, Qintong Li, Shansan Gong, Lemao Liu, Wei Bi, Lingpeng Kong

cs.AI

Abstract

Il ragionamento multimodale rappresenta una capacità fondamentale per i grandi modelli visione-linguaggio (LVLM). L'integrazione con i Linguaggi Specifici di Dominio (DSL), che offrono rappresentazioni visive precise, fornisce a questi modelli l'opportunità di eseguire ragionamenti più accurati in domini complessi e professionali. Tuttavia, il metodo standard di prompting a Catena di Pensiero (CoT) incontra difficoltà nel sfruttare efficacemente i punti di forza unici delle rappresentazioni visive e DSL, principalmente a causa dei loro meccanismi di ragionamento divergenti. Inoltre, spesso non riesce a gestire adeguatamente i passaggi critici nei compiti di ragionamento a più fasi. Per mitigare queste sfide, introduciamo il metodo di prompting Allineamento Comportamentale Bi-Modale (BBA), progettato per massimizzare il potenziale dei DSL nel potenziare i compiti complessi di ragionamento multimodale. Questo metodo inizia guidando i LVLM a creare catene di ragionamento separate per le rappresentazioni visive e DSL. Successivamente, allinea queste catene risolvendo eventuali incongruenze, ottenendo così un'integrazione coerente dei comportamenti provenienti da diverse modalità. I nostri esperimenti dimostrano che il BBA migliora significativamente le prestazioni di GPT-4V(ision) nella risoluzione di problemi di geometria (da 28,34% a 34,22%), nella previsione del vantaggio posizionale negli scacchi (da 42,08% a 46,99%) e nella previsione delle proprietà molecolari (da 77,47% a 83,52%).

English

Multimodal reasoning stands as a pivotal capability for large vision-language models (LVLMs). The integration with Domain-Specific Languages (DSL), offering precise visual representations, equips these models with the opportunity to execute more accurate reasoning in complex and professional domains. However, the vanilla Chain-of-Thought (CoT) prompting method faces challenges in effectively leveraging the unique strengths of visual and DSL representations, primarily due to their differing reasoning mechanisms. Additionally, it often falls short in addressing critical steps in multi-step reasoning tasks. To mitigate these challenges, we introduce the Bi-Modal Behavioral Alignment (BBA) prompting method, designed to maximize the potential of DSL in augmenting complex multi-modal reasoning tasks. This method initiates by guiding LVLMs to create separate reasoning chains for visual and DSL representations. Subsequently, it aligns these chains by addressing any inconsistencies, thus achieving a cohesive integration of behaviors from different modalities. Our experiments demonstrate that BBA substantially improves the performance of GPT-4V(ision) on geometry problem solving (28.34% to 34.22%), chess positional advantage prediction (42.08% to 46.99%) and molecular property prediction (77.47% to 83.52%).