Apprentissage du raisonnement sous guidance hors politiqueLearning to Reason under Off-Policy Guidance
Les récents progrès dans les grands modèles de raisonnement (LRMs) démontrent que des comportements sophistiqués tels que le raisonnement multi-étapes et l'auto-réflexion peuvent émerger via l'apprentissage par renforcement (RL) avec des récompenses simples basées sur des règles. Cependant, les approches existantes de zéro-RL sont intrinsèquement « on-policy », limitant l'apprentissage aux sorties du modèle lui-même et empêchant l'acquisition de capacités de raisonnement au-delà de ses compétences initiales. Nous présentons LUFFY (Learning to reason Under oFF-policY guidance), un cadre qui enrichit le zéro-RL avec des traces de raisonnement off-policy. LUFFY équilibre dynamiquement l'imitation et l'exploration en combinant des démonstrations off-policy avec des déploiements on-policy pendant l'entraînement. Notamment, nous proposons le façonnage de politique via l'échantillonnage d'importance régularisé pour éviter une imitation superficielle et rigide pendant l'entraînement mixte. De manière remarquable, LUFFY obtient un gain moyen de plus de +7,0 sur six benchmarks mathématiques et un avantage de plus de +6,2 points dans des tâches hors distribution. Il surpasse également de manière significative le fine-tuning supervisé basé sur l'imitation (SFT), en particulier en généralisation. L'analyse montre que LUFFY non seulement imite efficacement, mais explore également au-delà des démonstrations, offrant une voie évolutive pour entraîner des modèles de raisonnement généralisables avec un guidage off-policy.