Verknüpfung von verschachteltem multimodalen Reasoning als einheitlicher Entscheidungsprozess

Zusammenfassung

Einheitliche multimodale Modelle (UMMs) haben vielversprechende Fähigkeiten im verschränkten Text-Bild-Schließen gezeigt, doch die effektive Optimierung einer solchen mehrschrittigen Generierung mittels Reinforcement Learning (RL) bleibt eine offene Herausforderung. Bestehende Ansätze wenden RL ausschließlich auf Texte an und überlassen die Bildgenerierung überwachten Surrogaten, was verhindert, dass Policy-Gradienten durch die vollständige verschränkte Trajektorie über heterogene Modalitäten hinweg propagieren. Dies lässt das Potenzial von RL für UMMs weitgehend ungenutzt. In diesem Papier stellen wir BRAID (Bridging inteRleAved multI-modal reasoning as a unified Decision process) vor, ein einfaches Framework, das mehrschrittiges Text-Bild-Text-Schließen als einheitlichen Markov-Entscheidungsprozess (MDP) modelliert und so die gemeinsame Optimierung von textueller und visueller Generierung mittels eines einzigen, prinzipientreuen RL-Ziels ermöglicht. BRAID berechnet einen gemeinsamen Trajektorienvorteil und propagiert diesen kohärent sowohl in Text-Tokens als auch in Bild-Denoising-Pfade, die jeweils durch ihren modalitätsspezifischen Policy-Gradienten-Mechanismus optimiert werden. Um die Kreditzuweisung über einen langen Horizont hinweg weiter zu adressieren, setzt BRAID einen Vision-Language-Model (VLM) Richter ein, der jedes Zwischenbild hinsichtlich seines Nutzens für das Schließen bewertet und dichtes Feedback auf Schritt-Ebene liefert, um das Lernen an kritischen visuellen Verzweigungen zu schärfen. Experimente auf Benchmarks für räumliches Schließen und visuelle Wahrnehmung zeigen, dass BRAID verschiedene Baselines durchweg übertrifft, was bestätigt, dass eine einheitliche MDP-Formulierung mit visuell-denkender Führung für effektives multimodales Schließen unerlässlich ist.

English

Unified multi-modal models (UMMs) have shown promising interleaved text-image reasoning capabilities, yet effectively optimizing such multi-turn generation via reinforcement learning (RL) remains an open challenge. Existing approaches apply RL exclusively to text steps, relegating image generation to supervised surrogates, preventing policy gradients from propagating through the full interleaved trajectory across heterogeneous modalities. This leaves the potential of RL for UMMs largely untapped. In the paper, we introduce BRAID (Bridging inteRleAved multI-modal reasoning as a unified Decision process), a simple framework that casts multi-turn text-image-text reasoning as a unified Markov decision process (MDP), enabling joint optimization of textual and visual generation via a single, principled RL objective. BRAID computes a shared trajectory-level advantage and propagates it coherently into both text tokens and image denoising paths, each optimized through its modality-native policy gradient mechanism. To further address long-horizon credit assignment, BRAID employs a vision-language model (VLM) judge that scores each intermediate image on its reasoning utility, supplying dense turn-level feedback to sharpen learning at critical visual branches. Experiments on spatial reasoning and visual perception benchmarks show that BRAID consistently outperforms various baselines, confirming that a unified MDP formulation with vision-thinking guidance is essential for effective multi-modal reasoning.