MM-HELIX: Förderung multimodaler langkettiger reflektiver Argumentation durch ganzheitliche Plattform und adaptive hybride Politikoptimierung

MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization

October 9, 2025

papers.authors: Xiangyu Zhao, Junming Lin, Tianhao Liang, Yifan Zhou, Wenhao Chai, Yuzhe Gu, Weiyun Wang, Kai Chen, Gen Luo, Wenwei Zhang, Junchi Yan, Hua Yang, Haodong Duan, Xue Yang

cs.AI

papers.abstract

Während aktuelle Multimodale Große Sprachmodelle (MLLMs) bereits Kompetenz in Aufgaben wie Mathematik und Logik gezeigt haben, bleibt ihre Fähigkeit zur langkettigen reflektierenden Argumentation, eine Voraussetzung für die Lösung komplexer realer Probleme, weitgehend unerforscht. In dieser Arbeit führen wir zunächst eine umfangreiche empirische Untersuchung durch, um diese Fähigkeit zu bewerten. Mithilfe eines sorgfältig entwickelten Daten-Synthese-Engines konstruieren wir MM-HELIX, einen multimodalen Benchmark, der aus 1.260 Proben von 42 anspruchsvollen synthetischen Aufgaben besteht, die iteratives Denken und Backtracking erfordern. Empirische Ergebnisse auf diesem Benchmark zeigen, dass bestehende MLLMs erhebliche Leistungsdefizite in der langkettigen reflektierenden Argumentation aufweisen. Um diese Einschränkung zu beheben, generieren wir Post-Training-Daten und untersuchen weiterhin Lernparadigmen zur Nutzung solcher Daten. Wir entwickeln zunächst die Step-Elicited Response Generation-Pipeline, um MM-HELIX-100K zu erstellen, einen groß angelegten Datensatz von 100k hochwertigen, reflektierenden Argumentationsspuren für die Instruktionsfeinabstimmung. Da Standard-Reinforcement-Learning bei komplexen Aufgaben aufgrund von spärlichen Belohnungssignalen und katastrophalem Vergessen nach Supervised Fine-Tuning versagt, schlagen wir Adaptive Hybrid Policy Optimization (AHPO) vor, eine neuartige Trainingsstrategie, die Offline-Überwachung und Online-Optimierung dynamisch in einer einzigen Stufe vereint. Diese Strategie ermöglicht es dem Modell, von Experten-Daten zu lernen, wenn Belohnungen spärlich sind, und eigenständige Exploration durchzuführen, sobald es kompetent ist. Bei Anwendung auf die Qwen2.5-VL-7B-Baseline erreicht unsere Methode eine +18,6\%ige Genauigkeitsverbesserung auf dem MM-HELIX-Benchmark und zeigt eine starke Generalisierung mit einer durchschnittlichen Leistungssteigerung von +5,7\% bei allgemeinen mathematischen und logischen Aufgaben. Unsere Arbeit zeigt, dass reflektierende Argumentation in MLLMs effektiv erlernt und verallgemeinert werden kann, was den Weg für die Entwicklung leistungsfähigerer MLLMs ebnet.

English

While current Multimodal Large Language Models (MLLMs) have demonstrated proficiency in reasoning tasks such as mathematics and logic, their capacity for long-chain reflective reasoning, a prerequisite for solving complex real-world problems, remains largely underexplored. In this work, we first conduct an extensive empirical investigation to evaluate this capability. Leveraging a carefully designed data synthesis engine, we construct MM-HELIX, a multimodal benchmark consisting 1,260 samples of 42 challenging synthetic tasks that require iterative thinking and backtracking. Empirical results on this benchmark reveal that existing MLLMs exhibit significant performance deficits in long-chain reflective reasoning. To address this limitation, we generate post-training data and further explore learning paradigms for exploiting such data. We first develop the Step-Elicited Response Generation pipeline to create MM-HELIX-100K, a large-scale dataset of 100k high-quality, reflective reasoning traces for instruction-tuning stage. Given that standard Reinforcement Learning fails on complex tasks due to sparse reward signals and catastrophic forgetting after Supervised Fine-Tuning, we propose Adaptive Hybrid Policy Optimization (AHPO), a novel training strategy that dynamically unifies offline supervision and online optimization into a single stage. This strategy enables the model to learn from expert data when rewards are sparse and conduct independent exploration once proficient. When applied to the Qwen2.5-VL-7B baseline, our method achieves a +18.6\% accuracy improvement on MM-HELIX benchmark and demonstrates strong generalization with a +5.7\% average performance gain on general mathematic and logic tasks. Our work demonstrate that reflective reasoning in MLLMs can be effectively learned and generalized, paving the way for developing more capable MLLMs.