Apprendre à raisonner sans récompenses externes
Learning to Reason without External Rewards
May 26, 2025
Auteurs: Xuandong Zhao, Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song
cs.AI
Résumé
L'entraînement de grands modèles de langage (LLMs) pour le raisonnement complexe via l'apprentissage par renforcement avec récompenses vérifiables (RLVR) est efficace mais limité par la dépendance à une supervision coûteuse et spécifique à un domaine. Nous explorons l'apprentissage par renforcement à partir de retours internes (RLIF), un cadre qui permet aux LLMs d'apprendre à partir de signaux intrinsèques sans récompenses externes ni données étiquetées. Nous proposons Intuitor, une méthode RLIF qui utilise la confiance propre du modèle, appelée auto-certitude, comme unique signal de récompense. Intuitor remplace les récompenses externes dans l'optimisation de politique relative par groupe (GRPO) par des scores d'auto-certitude, permettant un apprentissage entièrement non supervisé. Les expériences démontrent qu'Intuitor égalise les performances de GRPO sur des benchmarks mathématiques tout en obtenant une généralisation supérieure pour des tâches hors domaine comme la génération de code, sans nécessiter de solutions de référence ou de cas de test. Nos résultats montrent que les signaux intrinsèques du modèle peuvent piloter un apprentissage efficace à travers différents domaines, offrant une alternative scalable à RLVR pour les systèmes d'IA autonomes où les récompenses vérifiables sont indisponibles. Le code est disponible à l'adresse https://github.com/sunblaze-ucb/Intuitor.
English
Training large language models (LLMs) for complex reasoning via Reinforcement
Learning with Verifiable Rewards (RLVR) is effective but limited by reliance on
costly, domain-specific supervision. We explore Reinforcement Learning from
Internal Feedback (RLIF), a framework that enables LLMs to learn from intrinsic
signals without external rewards or labeled data. We propose Intuitor, an RLIF
method that uses a model's own confidence, termed self-certainty, as its sole
reward signal. Intuitor replaces external rewards in Group Relative Policy
Optimization (GRPO) with self-certainty scores, enabling fully unsupervised
learning. Experiments demonstrate that Intuitor matches GRPO's performance on
mathematical benchmarks while achieving superior generalization to
out-of-domain tasks like code generation, without requiring gold solutions or
test cases. Our findings show that intrinsic model signals can drive effective
learning across domains, offering a scalable alternative to RLVR for autonomous
AI systems where verifiable rewards are unavailable. Code is available at
https://github.com/sunblaze-ucb/IntuitorSummary
AI-Generated Summary