Além do 'Aha!': Rumo ao Alinhamento Sistemático de Meta-Habilidades em Modelos de Raciocínio de Grande Escala

Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models

May 15, 2025

Autores: Zhiyuan Hu, Yibo Wang, Hanze Dong, Yuhui Xu, Amrita Saha, Caiming Xiong, Bryan Hooi, Junnan Li

cs.AI

Resumo

Modelos de raciocínio de grande escala (LRMs) já possuem uma capacidade latente para raciocínio de cadeia longa de pensamento. Trabalhos anteriores mostraram que o aprendizado por reforço (RL) baseado em resultados pode incidentalmente eliciar comportamentos avançados de raciocínio, como autocorreção, retrocesso e fenômenos de verificação, frequentemente referidos como o "momento eureka" do modelo. No entanto, o momento e a consistência desses comportamentos emergentes permanecem imprevisíveis e incontroláveis, limitando a escalabilidade e a confiabilidade das capacidades de raciocínio dos LRMs. Para abordar essas limitações, vamos além da dependência de prompts e dos "momentos eureka" coincidentes. Em vez disso, alinhamos explicitamente os modelos com três meta-habilidades: dedução, indução e abdução, utilizando tarefas auto-verificáveis geradas automaticamente. Nosso pipeline de três estágios — alinhamento individual, fusão no espaço de parâmetros e aprendizado por reforço específico do domínio — aumenta o desempenho em mais de 10% em relação às linhas de base ajustadas por instrução. Além disso, o RL específico do domínio a partir do ponto de verificação alinhado resulta em um ganho médio adicional de 2% no teto de desempenho em benchmarks de matemática, codificação e ciências, demonstrando que o alinhamento explícito de meta-habilidades oferece uma base escalável e confiável para o raciocínio. O código está disponível em: https://github.com/zhiyuanhubj/Meta-Ability-Alignment

English

Large reasoning models (LRMs) already possess a latent capacity for long chain-of-thought reasoning. Prior work has shown that outcome-based reinforcement learning (RL) can incidentally elicit advanced reasoning behaviors such as self-correction, backtracking, and verification phenomena often referred to as the model's "aha moment". However, the timing and consistency of these emergent behaviors remain unpredictable and uncontrollable, limiting the scalability and reliability of LRMs' reasoning capabilities. To address these limitations, we move beyond reliance on prompts and coincidental "aha moments". Instead, we explicitly align models with three meta-abilities: deduction, induction, and abduction, using automatically generated, self-verifiable tasks. Our three stage-pipeline individual alignment, parameter-space merging, and domain-specific reinforcement learning, boosting performance by over 10\% relative to instruction-tuned baselines. Furthermore, domain-specific RL from the aligned checkpoint yields an additional 2\% average gain in the performance ceiling across math, coding, and science benchmarks, demonstrating that explicit meta-ability alignment offers a scalable and dependable foundation for reasoning. Code is available at: https://github.com/zhiyuanhubj/Meta-Ability-Alignment