MM-HELIX: Potenziamento del Ragionamento Riflessivo Multimodale a Lunga Catena con Piattaforma Olistica e Ottimizzazione Ibrida Adattativa delle Politiche

MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization

October 9, 2025

Autori: Xiangyu Zhao, Junming Lin, Tianhao Liang, Yifan Zhou, Wenhao Chai, Yuzhe Gu, Weiyun Wang, Kai Chen, Gen Luo, Wenwei Zhang, Junchi Yan, Hua Yang, Haodong Duan, Xue Yang

cs.AI

Abstract

Sebbene gli attuali Modelli Linguistici Multimodali di Grande Scala (MLLMs) abbiano dimostrato competenza in compiti di ragionamento come la matematica e la logica, la loro capacità di ragionamento riflessivo a catena lunga, un prerequisito per risolvere problemi complessi del mondo reale, rimane in gran parte inesplorata. In questo lavoro, conduciamo prima un'ampia indagine empirica per valutare questa capacità. Sfruttando un motore di sintesi dati progettato con cura, costruiamo MM-HELIX, un benchmark multimodale composto da 1.260 campioni di 42 compiti sintetici impegnativi che richiedono pensiero iterativo e backtracking. I risultati empirici su questo benchmark rivelano che gli attuali MLLMs mostrano significativi deficit di prestazioni nel ragionamento riflessivo a catena lunga. Per affrontare questa limitazione, generiamo dati di post-training e esploriamo ulteriormente paradigmi di apprendimento per sfruttare tali dati. Sviluppiamo prima la pipeline Step-Elicited Response Generation per creare MM-HELIX-100K, un dataset su larga scala di 100k tracce di ragionamento riflessivo di alta qualità per la fase di instruction-tuning. Considerando che il Reinforcement Learning standard fallisce su compiti complessi a causa di segnali di ricompensa sparsi e di dimenticanza catastrofica dopo il Supervised Fine-Tuning, proponiamo l'Adaptive Hybrid Policy Optimization (AHPO), una strategia di addestramento innovativa che unisce dinamicamente la supervisione offline e l'ottimizzazione online in un'unica fase. Questa strategia consente al modello di apprendere da dati esperti quando le ricompense sono scarse e di condurre esplorazioni indipendenti una volta diventato competente. Applicata alla baseline Qwen2.5-VL-7B, il nostro metodo ottiene un miglioramento di precisione del +18,6% sul benchmark MM-HELIX e dimostra una forte generalizzazione con un guadagno medio di prestazioni del +5,7% su compiti generali di matematica e logica. Il nostro lavoro dimostra che il ragionamento riflessivo negli MLLMs può essere efficacemente appreso e generalizzato, aprendo la strada allo sviluppo di MLLMs più capaci.

English

While current Multimodal Large Language Models (MLLMs) have demonstrated proficiency in reasoning tasks such as mathematics and logic, their capacity for long-chain reflective reasoning, a prerequisite for solving complex real-world problems, remains largely underexplored. In this work, we first conduct an extensive empirical investigation to evaluate this capability. Leveraging a carefully designed data synthesis engine, we construct MM-HELIX, a multimodal benchmark consisting 1,260 samples of 42 challenging synthetic tasks that require iterative thinking and backtracking. Empirical results on this benchmark reveal that existing MLLMs exhibit significant performance deficits in long-chain reflective reasoning. To address this limitation, we generate post-training data and further explore learning paradigms for exploiting such data. We first develop the Step-Elicited Response Generation pipeline to create MM-HELIX-100K, a large-scale dataset of 100k high-quality, reflective reasoning traces for instruction-tuning stage. Given that standard Reinforcement Learning fails on complex tasks due to sparse reward signals and catastrophic forgetting after Supervised Fine-Tuning, we propose Adaptive Hybrid Policy Optimization (AHPO), a novel training strategy that dynamically unifies offline supervision and online optimization into a single stage. This strategy enables the model to learn from expert data when rewards are sparse and conduct independent exploration once proficient. When applied to the Qwen2.5-VL-7B baseline, our method achieves a +18.6\% accuracy improvement on MM-HELIX benchmark and demonstrates strong generalization with a +5.7\% average performance gain on general mathematic and logic tasks. Our work demonstrate that reflective reasoning in MLLMs can be effectively learned and generalized, paving the way for developing more capable MLLMs.