인터리브된 다중 모달 추론을 통합된 의사 결정 과정으로 연결하기

초록

통합 멀티모달 모델(UMMs)은 텍스트와 이미지가 혼합된 추론 능력을 보여주고 있지만, 강화 학습(RL)을 통해 이러한 다중 턴 생성을 효과적으로 최적화하는 것은 여전히 미해결 과제로 남아 있다. 기존 접근법은 RL을 텍스트 단계에만 적용하고 이미지 생성은 지도 학습 기반 대리 모델에 의존함으로써, 정책 그래디언트가 이질적 모달리티를 가로지르는 전체 혼합 궤적을 통해 전파되는 것을 방지한다. 이는 UMMs에 대한 RL의 잠재력을 대부분 활용하지 못하게 한다. 본 논문에서는 BRAID(Bridging inteRleAved multI-modal reasoning as a unified Decision process)를 소개한다. 이는 다중 턴 텍스트-이미지-텍스트 추론을 통합 마르코프 결정 과정(MDP)으로 간주하여, 단일하고 원칙적인 RL 목표를 통해 텍스트 및 시각적 생성을 공동으로 최적화할 수 있는 간단한 프레임워크이다. BRAID는 공유된 궤적 수준의 어드밴티지를 계산하고, 이를 텍스트 토큰과 이미지 디노이징 경로 모두에 일관되게 전파하며, 각 모달리티 고유의 정책 그래디언트 메커니즘을 통해 최적화한다. 또한 장기간에 걸친 신용 할당 문제를 해결하기 위해, BRAID는 각 중간 이미지의 추론 유용성을 평가하는 비전-언어 모델(VLM) 판별기를 사용하여 중요한 시각적 분기점에서 조밀한 턴 수준의 피드백을 제공함으로써 학습을 강화한다. 공간 추론 및 시각적 인식 벤치마크 실험에서 BRAID는 다양한 기준 모델을 일관되게 능가하며, 비전-사고 지침을 갖춘 통합 MDP 공식이 효과적인 멀티모달 추론에 필수적임을 확인한다.

English

Unified multi-modal models (UMMs) have shown promising interleaved text-image reasoning capabilities, yet effectively optimizing such multi-turn generation via reinforcement learning (RL) remains an open challenge. Existing approaches apply RL exclusively to text steps, relegating image generation to supervised surrogates, preventing policy gradients from propagating through the full interleaved trajectory across heterogeneous modalities. This leaves the potential of RL for UMMs largely untapped. In the paper, we introduce BRAID (Bridging inteRleAved multI-modal reasoning as a unified Decision process), a simple framework that casts multi-turn text-image-text reasoning as a unified Markov decision process (MDP), enabling joint optimization of textual and visual generation via a single, principled RL objective. BRAID computes a shared trajectory-level advantage and propagates it coherently into both text tokens and image denoising paths, each optimized through its modality-native policy gradient mechanism. To further address long-horizon credit assignment, BRAID employs a vision-language model (VLM) judge that scores each intermediate image on its reasoning utility, supplying dense turn-level feedback to sharpen learning at critical visual branches. Experiments on spatial reasoning and visual perception benchmarks show that BRAID consistently outperforms various baselines, confirming that a unified MDP formulation with vision-thinking guidance is essential for effective multi-modal reasoning.