MM-HELIX: Усиление мультимодального рефлексивного мышления в длинных цепочках с помощью целостной платформы и адаптивной гибридной оптимизации политик

MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization

October 9, 2025

Авторы: Xiangyu Zhao, Junming Lin, Tianhao Liang, Yifan Zhou, Wenhao Chai, Yuzhe Gu, Weiyun Wang, Kai Chen, Gen Luo, Wenwei Zhang, Junchi Yan, Hua Yang, Haodong Duan, Xue Yang

cs.AI

Аннотация

Хотя современные мультимодальные большие языковые модели (MLLMs) продемонстрировали высокую эффективность в задачах, требующих рассуждений, таких как математика и логика, их способность к длинноцепочечным рефлексивным рассуждениям, необходимым для решения сложных реальных задач, остается малоизученной. В данной работе мы сначала проводим обширное эмпирическое исследование для оценки этой способности. Используя тщательно разработанный механизм синтеза данных, мы создаем MM-HELIX — мультимодальный бенчмарк, состоящий из 1260 образцов, включающих 42 сложные синтетические задачи, требующие итеративного мышления и возвратов. Эмпирические результаты на этом бенчмарке показывают, что существующие MLLMs демонстрируют значительные недостатки в длинноцепочечных рефлексивных рассуждениях. Для устранения этого ограничения мы генерируем данные для пост-обучения и исследуем парадигмы обучения для их использования. Сначала мы разрабатываем конвейер Step-Elicited Response Generation для создания MM-HELIX-100K — крупномасштабного набора данных, содержащего 100 тысяч высококачественных траекторий рефлексивных рассуждений для этапа настройки инструкций. Учитывая, что стандартное обучение с подкреплением терпит неудачу на сложных задачах из-за редких сигналов вознаграждения и катастрофического забывания после контролируемой тонкой настройки, мы предлагаем Adaptive Hybrid Policy Optimization (AHPO) — новую стратегию обучения, которая динамически объединяет оффлайн-контроль и онлайн-оптимизацию в один этап. Эта стратегия позволяет модели учиться на экспертных данных, когда вознаграждения редки, и проводить независимое исследование, как только она становится достаточно компетентной. При применении к базовой модели Qwen2.5-VL-7B наш метод достигает улучшения точности на +18,6% на бенчмарке MM-HELIX и демонстрирует сильную обобщаемость с увеличением средней производительности на +5,7% на общих математических и логических задачах. Наша работа показывает, что рефлексивные рассуждения в MLLMs могут быть эффективно изучены и обобщены, прокладывая путь для разработки более мощных MLLMs.

English

While current Multimodal Large Language Models (MLLMs) have demonstrated proficiency in reasoning tasks such as mathematics and logic, their capacity for long-chain reflective reasoning, a prerequisite for solving complex real-world problems, remains largely underexplored. In this work, we first conduct an extensive empirical investigation to evaluate this capability. Leveraging a carefully designed data synthesis engine, we construct MM-HELIX, a multimodal benchmark consisting 1,260 samples of 42 challenging synthetic tasks that require iterative thinking and backtracking. Empirical results on this benchmark reveal that existing MLLMs exhibit significant performance deficits in long-chain reflective reasoning. To address this limitation, we generate post-training data and further explore learning paradigms for exploiting such data. We first develop the Step-Elicited Response Generation pipeline to create MM-HELIX-100K, a large-scale dataset of 100k high-quality, reflective reasoning traces for instruction-tuning stage. Given that standard Reinforcement Learning fails on complex tasks due to sparse reward signals and catastrophic forgetting after Supervised Fine-Tuning, we propose Adaptive Hybrid Policy Optimization (AHPO), a novel training strategy that dynamically unifies offline supervision and online optimization into a single stage. This strategy enables the model to learn from expert data when rewards are sparse and conduct independent exploration once proficient. When applied to the Qwen2.5-VL-7B baseline, our method achieves a +18.6\% accuracy improvement on MM-HELIX benchmark and demonstrates strong generalization with a +5.7\% average performance gain on general mathematic and logic tasks. Our work demonstrate that reflective reasoning in MLLMs can be effectively learned and generalized, paving the way for developing more capable MLLMs.