Apriel-Reasoner: RL Post-Training voor Algemeen Toepasbare en Efficiënte Redeneervaardigheid

Apriel-Reasoner: RL Post-Training for General-Purpose and Efficient Reasoning

April 2, 2026

Auteurs: Rafael Pardinas, Ehsan Kamalloo, David Vazquez, Alexandre Drouin

cs.AI

Samenvatting

Het trainen van algemene redeneermodellen met reinforcement learning met verifieerbare beloningen (RLVR) over diverse domeinen wordt veel toegepast door toonaangevende open-weight modellen. Hun trainingsrecepten en domeinmengsels worden echter vaak niet openbaar gemaakt. Gezamenlijke optimalisatie over meerdere domeinen brengt aanzienlijke uitdagingen met zich mee: domeinen verschillen sterk in rollout-lengte, probleemcomplexiteit en sample-efficiëntie. Bovendien verhogen modellen met lange chain-of-thought-traces de inferentiekosten en latentie, waardoor efficiëntie cruciaal is voor praktische inzet. Wij presenteren Apriel-Reasoner, getraind met een volledig reproduceerbaar multi-domein RL-post-trainingrecept op Apriel-Base, een open-weight LLM met 15B parameters, over vijf domeinen met publieke datasets: wiskunde, codegeneratie, instructieopvolging, logische puzzels en functie-aanroeping. Wij introduceren een adaptief domeinbemonsteringsmechanisme dat de doelverhoudingen tussen domeinen handhaaft ondanks heterogene rollout-dynamiek, en een moeilijkheidsgraadbewuste extensie van de standaard lengtestraf die, zonder extra trainingsoverhead, langer redeneren aanmoedigt voor moeilijke problemen en kortere traces voor eenvoudige. Getraind met een strikt uitvoerbudget van 16K tokens, generaliseert Apriel-Reasoner naar 32K tokens tijdens inferentie en presteert beter dan Apriel-Base op AIME 2025, GPQA, MMLU-Pro en LiveCodeBench, terwijl het 30-50% kortere redeneertraces produceert. Het evenaart sterke open-weight modellen van vergelijkbare grootte tegen lagere tokenkosten, en verschuift daarmee de Pareto-grens van nauwkeurigheid versus tokenbudget.

English

Building general-purpose reasoning models using reinforcement learning with verifiable rewards (RLVR) across diverse domains has been widely adopted by frontier open-weight models. However, their training recipes and domain mixtures are often not disclosed. Joint optimization across domains poses significant challenges: domains vary widely in rollout length, problem difficulty and sample efficiency. Further, models with long chain-of-thought traces increase inference cost and latency, making efficiency critical for practical deployment. We present Apriel-Reasoner, trained with a fully reproducible multi-domain RL post-training recipe on Apriel-Base, a 15B-parameter open-weight LLM, across five domains using public datasets: mathematics, code generation, instruction following, logical puzzles and function calling. We introduce an adaptive domain sampling mechanism that preserves target domain ratios despite heterogeneous rollout dynamics, and a difficulty-aware extension of the standard length penalty that, with no additional training overhead, encourages longer reasoning for difficult problems and shorter traces for easy ones. Trained with a strict 16K-token output budget, Apriel-Reasoner generalizes to 32K tokens at inference and improves over Apriel-Base on AIME 2025, GPQA, MMLU-Pro, and LiveCodeBench while producing 30-50% shorter reasoning traces. It matches strong open-weight models of similar size at lower token cost, thereby pushing the Pareto frontier of accuracy versus token budget.