Apriel-Reasoner: Pós-treinamento por RL para Raciocínio de Propósito Geral e Eficiente

Apriel-Reasoner: RL Post-Training for General-Purpose and Efficient Reasoning

April 2, 2026

Autores: Rafael Pardinas, Ehsan Kamalloo, David Vazquez, Alexandre Drouin

cs.AI

Resumo

A construção de modelos de raciocínio de propósito geral utilizando aprendizagem por reforço com recompensas verificáveis (RLVR) em diversos domínios tem sido amplamente adotada por modelos de peso aberto de ponta. No entanto, as suas receitas de treino e misturas de domínios frequentemente não são divulgadas. A otimização conjunta através de domínios apresenta desafios significativos: os domínios variam amplamente em comprimento de *rollout*, dificuldade do problema e eficiência amostral. Adicionalmente, modelos com longos traços de *chain-of-thought* aumentam o custo e a latência de inferência, tornando a eficiência crítica para uma implantação prática. Apresentamos o Apriel-Reasoner, treinado com uma receita de pós-treino totalmente reproduzível de RL multi-domínio no Apriel-Base, um LLM de peso aberto com 15B de parâmetros, em cinco domínios utilizando conjuntos de dados públicos: matemática, geração de código, seguimento de instruções, quebra-cabeças lógicos e chamada de funções. Introduzimos um mecanismo de amostragem de domínio adaptativo que preserva as proporções do domínio-alvo apesar de dinâmicas de *rollout* heterogéneas, e uma extensão do *penalty* de comprimento padrão, sensível à dificuldade, que, sem sobrecarga de treino adicional, incentiva raciocínios mais longos para problemas difíceis e traços mais curtos para os fáceis. Treinado com um rigoroso orçamento de 16K *tokens* de saída, o Apriel-Reasoner generaliza para 32K *tokens* na inferência e supera o Apriel-Base no AIME 2025, GPQA, MMLU-Pro e LiveCodeBench, produzindo simultaneamente traços de raciocínio 30-50% mais curtos. Iguala modelos de peso aberto fortes de tamanho similar a um custo inferior de *tokens*, empurrando assim a fronteira de Pareto da precisão versus orçamento de *tokens*.

English

Building general-purpose reasoning models using reinforcement learning with verifiable rewards (RLVR) across diverse domains has been widely adopted by frontier open-weight models. However, their training recipes and domain mixtures are often not disclosed. Joint optimization across domains poses significant challenges: domains vary widely in rollout length, problem difficulty and sample efficiency. Further, models with long chain-of-thought traces increase inference cost and latency, making efficiency critical for practical deployment. We present Apriel-Reasoner, trained with a fully reproducible multi-domain RL post-training recipe on Apriel-Base, a 15B-parameter open-weight LLM, across five domains using public datasets: mathematics, code generation, instruction following, logical puzzles and function calling. We introduce an adaptive domain sampling mechanism that preserves target domain ratios despite heterogeneous rollout dynamics, and a difficulty-aware extension of the standard length penalty that, with no additional training overhead, encourages longer reasoning for difficult problems and shorter traces for easy ones. Trained with a strict 16K-token output budget, Apriel-Reasoner generalizes to 32K tokens at inference and improves over Apriel-Base on AIME 2025, GPQA, MMLU-Pro, and LiveCodeBench while producing 30-50% shorter reasoning traces. It matches strong open-weight models of similar size at lower token cost, thereby pushing the Pareto frontier of accuracy versus token budget.