MM-HELIX: Impulsionando o Raciocínio Reflexivo de Cadeia Longa Multimodal com Plataforma Holística e Otimização de Política Híbrida Adaptativa

Resumo

Embora os atuais Modelos de Linguagem Multimodais de Grande Escala (MLLMs) tenham demonstrado proficiência em tarefas de raciocínio, como matemática e lógica, sua capacidade para raciocínio reflexivo de cadeia longa, um pré-requisito para resolver problemas complexos do mundo real, permanece amplamente inexplorada. Neste trabalho, primeiro conduzimos uma investigação empírica extensa para avaliar essa capacidade. Utilizando um mecanismo de síntese de dados cuidadosamente projetado, construímos o MM-HELIX, um benchmark multimodal composto por 1.260 amostras de 42 tarefas sintéticas desafiadoras que exigem pensamento iterativo e retrocesso. Os resultados empíricos neste benchmark revelam que os MLLMs existentes apresentam déficits significativos de desempenho no raciocínio reflexivo de cadeia longa. Para abordar essa limitação, geramos dados de pós-treinamento e exploramos paradigmas de aprendizagem para aproveitar tais dados. Primeiro, desenvolvemos o pipeline de Geração de Resposta Induzida por Etapas para criar o MM-HELIX-100K, um conjunto de dados em larga escala de 100 mil traços de raciocínio reflexivo de alta qualidade para a etapa de ajuste fino por instrução. Dado que o Aprendizado por Reforço padrão falha em tarefas complexas devido a sinais de recompensa esparsos e ao esquecimento catastrófico após o Ajuste Fino Supervisionado, propomos a Otimização de Política Híbrida Adaptativa (AHPO), uma estratégia de treinamento inovadora que unifica dinamicamente a supervisão offline e a otimização online em um único estágio. Essa estratégia permite que o modelo aprenda com dados de especialistas quando as recompensas são esparsas e conduza exploração independente uma vez proficiente. Quando aplicada à linha de base Qwen2.5-VL-7B, nosso método alcança uma melhoria de +18,6% na precisão no benchmark MM-HELIX e demonstra forte generalização com um ganho médio de desempenho de +5,7% em tarefas gerais de matemática e lógica. Nosso trabalho demonstra que o raciocínio reflexivo em MLLMs pode ser efetivamente aprendido e generalizado, abrindo caminho para o desenvolvimento de MLLMs mais capazes.

English

While current Multimodal Large Language Models (MLLMs) have demonstrated proficiency in reasoning tasks such as mathematics and logic, their capacity for long-chain reflective reasoning, a prerequisite for solving complex real-world problems, remains largely underexplored. In this work, we first conduct an extensive empirical investigation to evaluate this capability. Leveraging a carefully designed data synthesis engine, we construct MM-HELIX, a multimodal benchmark consisting 1,260 samples of 42 challenging synthetic tasks that require iterative thinking and backtracking. Empirical results on this benchmark reveal that existing MLLMs exhibit significant performance deficits in long-chain reflective reasoning. To address this limitation, we generate post-training data and further explore learning paradigms for exploiting such data. We first develop the Step-Elicited Response Generation pipeline to create MM-HELIX-100K, a large-scale dataset of 100k high-quality, reflective reasoning traces for instruction-tuning stage. Given that standard Reinforcement Learning fails on complex tasks due to sparse reward signals and catastrophic forgetting after Supervised Fine-Tuning, we propose Adaptive Hybrid Policy Optimization (AHPO), a novel training strategy that dynamically unifies offline supervision and online optimization into a single stage. This strategy enables the model to learn from expert data when rewards are sparse and conduct independent exploration once proficient. When applied to the Qwen2.5-VL-7B baseline, our method achieves a +18.6\% accuracy improvement on MM-HELIX benchmark and demonstrates strong generalization with a +5.7\% average performance gain on general mathematic and logic tasks. Our work demonstrate that reflective reasoning in MLLMs can be effectively learned and generalized, paving the way for developing more capable MLLMs.

MM-HELIX: Impulsionando o Raciocínio Reflexivo de Cadeia Longa Multimodal com Plataforma Holística e Otimização de Política Híbrida Adaptativa

MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization

Resumo

Support