MM-HELIX: Verbetering van multimodale lange-keten reflectieve redenering met een holistisch platform en adaptieve hybride beleidsoptimalisatie

MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization

October 9, 2025

Auteurs: Xiangyu Zhao, Junming Lin, Tianhao Liang, Yifan Zhou, Wenhao Chai, Yuzhe Gu, Weiyun Wang, Kai Chen, Gen Luo, Wenwei Zhang, Junchi Yan, Hua Yang, Haodong Duan, Xue Yang

cs.AI

Samenvatting

Hoewel huidige Multimodale Grote Taalmodellen (MLLMs) vaardigheid hebben getoond in redeneertaken zoals wiskunde en logica, blijft hun vermogen voor lange-keten reflectief redeneren, een vereiste voor het oplossen van complexe real-world problemen, grotendeels onontgonnen. In dit werk voeren we eerst een uitgebreid empirisch onderzoek uit om deze capaciteit te evalueren. Met behulp van een zorgvuldig ontworpen data-synthese-engine construeren we MM-HELIX, een multimodaal benchmark bestaande uit 1.260 voorbeelden van 42 uitdagende synthetische taken die iteratief denken en terugspoelen vereisen. Empirische resultaten op deze benchmark laten zien dat bestaande MLLMs aanzienlijke prestatieproblemen vertonen in lange-keten reflectief redeneren. Om deze beperking aan te pakken, genereren we post-trainingsdata en onderzoeken we verder leerparadigma's om dergelijke data te benutten. We ontwikkelen eerst de Step-Elicited Response Generation-pipeline om MM-HELIX-100K te creëren, een grootschalige dataset van 100k hoogwaardige, reflectieve redeneersporen voor de instructie-afstemmingsfase. Gezien het feit dat standaard Reinforcement Learning faalt bij complexe taken vanwege schaarse beloningssignalen en catastrofaal vergeten na Supervised Fine-Tuning, stellen we Adaptive Hybrid Policy Optimization (AHPO) voor, een nieuwe trainingsstrategie die offline supervisie en online optimalisatie dynamisch verenigt in één fase. Deze strategie stelt het model in staat om te leren van expertdata wanneer beloningen schaars zijn en onafhankelijke exploratie uit te voeren zodra het vaardig is. Wanneer toegepast op de Qwen2.5-VL-7B-baseline, behaalt onze methode een nauwkeurigheidsverbetering van +18,6% op de MM-HELIX-benchmark en toont sterke generalisatie met een gemiddelde prestatieverbetering van +5,7% op algemene wiskundige en logische taken. Ons werk toont aan dat reflectief redeneren in MLLMs effectief kan worden geleerd en gegeneraliseerd, wat de weg vrijmaakt voor de ontwikkeling van capabelere MLLMs.

English

While current Multimodal Large Language Models (MLLMs) have demonstrated proficiency in reasoning tasks such as mathematics and logic, their capacity for long-chain reflective reasoning, a prerequisite for solving complex real-world problems, remains largely underexplored. In this work, we first conduct an extensive empirical investigation to evaluate this capability. Leveraging a carefully designed data synthesis engine, we construct MM-HELIX, a multimodal benchmark consisting 1,260 samples of 42 challenging synthetic tasks that require iterative thinking and backtracking. Empirical results on this benchmark reveal that existing MLLMs exhibit significant performance deficits in long-chain reflective reasoning. To address this limitation, we generate post-training data and further explore learning paradigms for exploiting such data. We first develop the Step-Elicited Response Generation pipeline to create MM-HELIX-100K, a large-scale dataset of 100k high-quality, reflective reasoning traces for instruction-tuning stage. Given that standard Reinforcement Learning fails on complex tasks due to sparse reward signals and catastrophic forgetting after Supervised Fine-Tuning, we propose Adaptive Hybrid Policy Optimization (AHPO), a novel training strategy that dynamically unifies offline supervision and online optimization into a single stage. This strategy enables the model to learn from expert data when rewards are sparse and conduct independent exploration once proficient. When applied to the Qwen2.5-VL-7B baseline, our method achieves a +18.6\% accuracy improvement on MM-HELIX benchmark and demonstrates strong generalization with a +5.7\% average performance gain on general mathematic and logic tasks. Our work demonstrate that reflective reasoning in MLLMs can be effectively learned and generalized, paving the way for developing more capable MLLMs.