Au-delà du « Aha ! » : Vers un alignement systématique des méta-capacités dans les grands modèles de raisonnementBeyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large
Reasoning Models
Les grands modèles de raisonnement (LRMs) possèdent déjà une capacité latente pour les chaînes de raisonnement longues et complexes. Des travaux antérieurs ont montré que l'apprentissage par renforcement (RL) basé sur les résultats peut susciter de manière incidente des comportements de raisonnement avancés tels que l'autocorrection, le retour en arrière et les phénomènes de vérification, souvent qualifiés de « moment eurêka » du modèle. Cependant, le moment d'apparition et la cohérence de ces comportements émergents restent imprévisibles et incontrôlables, limitant ainsi l'évolutivité et la fiabilité des capacités de raisonnement des LRMs. Pour surmonter ces limitations, nous dépassons la dépendance aux incitations et aux « moments eurêka » fortuits. À la place, nous alignons explicitement les modèles sur trois méta-capacités : la déduction, l'induction et l'abduction, en utilisant des tâches auto-vérifiables générées automatiquement. Notre pipeline en trois étapes — alignement individuel, fusion de l'espace des paramètres et apprentissage par renforcement spécifique au domaine — améliore les performances de plus de 10 % par rapport aux modèles de référence ajustés par instruction. De plus, l'apprentissage par renforcement spécifique au domaine à partir du point de contrôle aligné entraîne un gain moyen supplémentaire de 2 % dans le plafond de performance sur des benchmarks en mathématiques, codage et sciences, démontrant ainsi que l'alignement explicite des méta-capacités offre une base évolutive et fiable pour le raisonnement. Le code est disponible à l'adresse suivante : https://github.com/zhiyuanhubj/Meta-Ability-Alignment