BBA: 대형 시각-언어 모델의 추론을 위한 이중 모드 행동 정렬

초록

다중 모달 추론은 대형 시각-언어 모델(LVLMs)의 핵심적인 능력으로 자리 잡고 있다. 정확한 시각적 표현을 제공하는 도메인 특화 언어(Domain-Specific Languages, DSL)와의 통합은 이러한 모델이 복잡하고 전문적인 영역에서 더 정확한 추론을 수행할 수 있는 기회를 제공한다. 그러나 기존의 사고 연쇄(Chain-of-Thought, CoT) 프롬프트 방법은 시각적 표현과 DSL 표현의 고유한 강점을 효과적으로 활용하는 데 어려움을 겪고 있으며, 이는 주로 이들의 서로 다른 추론 메커니즘 때문이다. 또한, 이 방법은 다단계 추론 작업에서 중요한 단계를 충분히 다루지 못하는 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 복잡한 다중 모달 추론 작업에서 DSL의 잠재력을 극대화하기 위해 설계된 이중 모달 행동 정렬(Bi-Modal Behavioral Alignment, BBA) 프롬프트 방법을 제안한다. 이 방법은 LVLMs가 시각적 표현과 DSL 표현에 대해 별도의 추론 체인을 생성하도록 유도한 후, 이러한 체인을 일관성 있게 정렬하여 서로 다른 모달리티의 행동을 통합한다. 우리의 실험 결과, BBA는 GPT-4V(ision)의 기하학 문제 해결(28.34%에서 34.22%로), 체스 위치적 우위 예측(42.08%에서 46.99%로), 그리고 분자 속성 예측(77.47%에서 83.52%로) 성능을 크게 향상시킴을 보여준다.

English

Multimodal reasoning stands as a pivotal capability for large vision-language models (LVLMs). The integration with Domain-Specific Languages (DSL), offering precise visual representations, equips these models with the opportunity to execute more accurate reasoning in complex and professional domains. However, the vanilla Chain-of-Thought (CoT) prompting method faces challenges in effectively leveraging the unique strengths of visual and DSL representations, primarily due to their differing reasoning mechanisms. Additionally, it often falls short in addressing critical steps in multi-step reasoning tasks. To mitigate these challenges, we introduce the Bi-Modal Behavioral Alignment (BBA) prompting method, designed to maximize the potential of DSL in augmenting complex multi-modal reasoning tasks. This method initiates by guiding LVLMs to create separate reasoning chains for visual and DSL representations. Subsequently, it aligns these chains by addressing any inconsistencies, thus achieving a cohesive integration of behaviors from different modalities. Our experiments demonstrate that BBA substantially improves the performance of GPT-4V(ision) on geometry problem solving (28.34% to 34.22%), chess positional advantage prediction (42.08% to 46.99%) and molecular property prediction (77.47% to 83.52%).

BBA: 대형 시각-언어 모델의 추론을 위한 이중 모드 행동 정렬

BBA: Bi-Modal Behavioral Alignment for Reasoning with Large Vision-Language Models

초록

Support