MM-HELIX: Potenciando el Razonamiento Reflexivo de Cadena Larga Multimodal con una Plataforma Holística y una Optimización de Política Híbrida Adaptativa

MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization

October 9, 2025

Autores: Xiangyu Zhao, Junming Lin, Tianhao Liang, Yifan Zhou, Wenhao Chai, Yuzhe Gu, Weiyun Wang, Kai Chen, Gen Luo, Wenwei Zhang, Junchi Yan, Hua Yang, Haodong Duan, Xue Yang

cs.AI

Resumen

Si bien los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs) actuales han demostrado competencia en tareas de razonamiento como matemáticas y lógica, su capacidad para el razonamiento reflexivo de cadena larga, un requisito previo para resolver problemas complejos del mundo real, sigue siendo en gran medida inexplorada. En este trabajo, primero llevamos a cabo una investigación empírica extensa para evaluar esta capacidad. Aprovechando un motor de síntesis de datos cuidadosamente diseñado, construimos MM-HELIX, un punto de referencia multimodal que consta de 1,260 muestras de 42 tareas sintéticas desafiantes que requieren pensamiento iterativo y retroceso. Los resultados empíricos en este punto de referencia revelan que los MLLMs existentes muestran déficits significativos en el razonamiento reflexivo de cadena larga. Para abordar esta limitación, generamos datos de post-entrenamiento y exploramos paradigmas de aprendizaje para aprovechar dichos datos. Primero desarrollamos la pipeline de Generación de Respuestas Inducidas por Pasos para crear MM-HELIX-100K, un conjunto de datos a gran escala de 100k trazas de razonamiento reflexivo de alta calidad para la etapa de ajuste de instrucciones. Dado que el Aprendizaje por Refuerzo estándar falla en tareas complejas debido a señales de recompensa dispersas y olvido catastrófico después del Ajuste Fino Supervisado, proponemos la Optimización de Política Híbrida Adaptativa (AHPO), una estrategia de entrenamiento novedosa que unifica dinámicamente la supervisión fuera de línea y la optimización en línea en una sola etapa. Esta estrategia permite que el modelo aprenda de datos expertos cuando las recompensas son escasas y realice exploración independiente una vez que sea competente. Cuando se aplica a la línea base Qwen2.5-VL-7B, nuestro método logra una mejora de precisión del +18.6\% en el punto de referencia MM-HELIX y demuestra una fuerte generalización con una ganancia promedio de rendimiento del +5.7\% en tareas generales de matemáticas y lógica. Nuestro trabajo demuestra que el razonamiento reflexivo en MLLMs puede aprenderse y generalizarse efectivamente, allanando el camino para el desarrollo de MLLMs más capaces.

English

While current Multimodal Large Language Models (MLLMs) have demonstrated proficiency in reasoning tasks such as mathematics and logic, their capacity for long-chain reflective reasoning, a prerequisite for solving complex real-world problems, remains largely underexplored. In this work, we first conduct an extensive empirical investigation to evaluate this capability. Leveraging a carefully designed data synthesis engine, we construct MM-HELIX, a multimodal benchmark consisting 1,260 samples of 42 challenging synthetic tasks that require iterative thinking and backtracking. Empirical results on this benchmark reveal that existing MLLMs exhibit significant performance deficits in long-chain reflective reasoning. To address this limitation, we generate post-training data and further explore learning paradigms for exploiting such data. We first develop the Step-Elicited Response Generation pipeline to create MM-HELIX-100K, a large-scale dataset of 100k high-quality, reflective reasoning traces for instruction-tuning stage. Given that standard Reinforcement Learning fails on complex tasks due to sparse reward signals and catastrophic forgetting after Supervised Fine-Tuning, we propose Adaptive Hybrid Policy Optimization (AHPO), a novel training strategy that dynamically unifies offline supervision and online optimization into a single stage. This strategy enables the model to learn from expert data when rewards are sparse and conduct independent exploration once proficient. When applied to the Qwen2.5-VL-7B baseline, our method achieves a +18.6\% accuracy improvement on MM-HELIX benchmark and demonstrates strong generalization with a +5.7\% average performance gain on general mathematic and logic tasks. Our work demonstrate that reflective reasoning in MLLMs can be effectively learned and generalized, paving the way for developing more capable MLLMs.