Apriel-Reasoner : Post-entraînement par RL pour un raisonnement généraliste et efficace
Apriel-Reasoner: RL Post-Training for General-Purpose and Efficient Reasoning
April 2, 2026
Auteurs: Rafael Pardinas, Ehsan Kamalloo, David Vazquez, Alexandre Drouin
cs.AI
Résumé
La construction de modèles de raisonnement généralistes par apprentissage par renforcement avec récompenses vérifiables (RLVR) sur des domaines variés est largement adoptée par les modèles open-weight de pointe. Cependant, leurs méthodes d'entraînement et leurs mélanges de domaines restent souvent non divulgués. L'optimisation conjointe sur plusieurs domaines présente des défis majeurs : les domaines varient considérablement en longueur de déploiement, difficulté des problèmes et efficacité d'échantillonnage. De plus, les modèles avec de longues chaînes de raisonnement accroissent les coûts d'inférence et la latence, rendant l'efficacité cruciale pour un déploiement pratique. Nous présentons Apriel-Reasoner, entraîné avec une recette reproductible de post-training RL multi-domaines sur Apriel-Base, un LLM open-weight de 15 milliards de paramètres, sur cinq domaines utilisant des jeux de données publics : mathématiques, génération de code, suivi d'instructions, puzzles logiques et appels de fonctions. Nous introduisons un mécanisme d'échantillonnage adaptatif des domaines qui préserve les ratios cibles malgré des dynamiques de déploiement hétérogènes, et une extension du pénalité de longueur standard sensible à la difficulté qui, sans surcoût d'entraînement, encourage les raisonnements longs pour les problèmes difficiles et les traces courtes pour les problèmes simples. Entraîné avec un budget strict de 16K tokens en sortie, Apriel-Reasoner généralise à 32K tokens à l'inférence et surpasse Apriel-Base sur AIME 2025, GPQA, MMLU-Pro et LiveCodeBench tout en produisant des traces de raisonnement 30 à 50 % plus courtes. Il égale les performances de modèles open-weight solides de taille similaire à un coût tokenique inférieur, repoussant ainsi la frontière de Pareto entre précision et budget tokenique.
English
Building general-purpose reasoning models using reinforcement learning with verifiable rewards (RLVR) across diverse domains has been widely adopted by frontier open-weight models. However, their training recipes and domain mixtures are often not disclosed. Joint optimization across domains poses significant challenges: domains vary widely in rollout length, problem difficulty and sample efficiency. Further, models with long chain-of-thought traces increase inference cost and latency, making efficiency critical for practical deployment. We present Apriel-Reasoner, trained with a fully reproducible multi-domain RL post-training recipe on Apriel-Base, a 15B-parameter open-weight LLM, across five domains using public datasets: mathematics, code generation, instruction following, logical puzzles and function calling. We introduce an adaptive domain sampling mechanism that preserves target domain ratios despite heterogeneous rollout dynamics, and a difficulty-aware extension of the standard length penalty that, with no additional training overhead, encourages longer reasoning for difficult problems and shorter traces for easy ones. Trained with a strict 16K-token output budget, Apriel-Reasoner generalizes to 32K tokens at inference and improves over Apriel-Base on AIME 2025, GPQA, MMLU-Pro, and LiveCodeBench while producing 30-50% shorter reasoning traces. It matches strong open-weight models of similar size at lower token cost, thereby pushing the Pareto frontier of accuracy versus token budget.