Apriel-1.5-15b-Thinker

papers.abstract

Nous présentons Apriel-1.5-15B-Thinker, un modèle de raisonnement multimodal à 15 milliards de paramètres en accès libre, qui atteint des performances de pointe grâce à une conception de formation plutôt qu’à une simple augmentation d’échelle. En partant de Pixtral-12B, nous appliquons une méthodologie progressive en trois étapes : (1) un surdimensionnement en profondeur pour étendre la capacité de raisonnement sans réentraînement à partir de zéro, (2) un pré-entraînement continu par étapes qui développe d’abord une compréhension fondamentale du texte et de la vision, puis améliore le raisonnement visuel grâce à une génération ciblée de données synthétiques abordant la structure spatiale, la compréhension compositionnelle et la perception fine, et (3) un affinage supervisé de haute qualité sur des paires instruction-réponse soigneusement sélectionnées, avec des traces de raisonnement explicites couvrant les mathématiques, la programmation, les sciences et l’utilisation d’outils. Notamment, notre modèle obtient des résultats compétitifs sans apprentissage par renforcement ni optimisation de préférences, isolant ainsi la contribution de notre approche centrée sur les données en pré-entraînement continu. Sur l’Indice d’Intelligence Artificielle d’Artificial Analysis, Apriel-1.5-15B-Thinker atteint un score de 52, égalant DeepSeek-R1-0528 tout en nécessitant nettement moins de ressources computationnelles. Sur dix benchmarks d’images, ses performances sont en moyenne à moins de cinq points de Gemini-2.5-Flash et Claude Sonnet-3.7, une réalisation clé pour un modèle fonctionnant sous les contraintes d’un déploiement sur un seul GPU. Nos résultats démontrent qu’une conception réfléchie en milieu de formation peut combler d’importants écarts de capacités sans recourir à une échelle massive, rendant ainsi le raisonnement multimodal de pointe accessible aux organisations disposant d’une infrastructure limitée. Nous publions le point de contrôle du modèle, toutes les recettes de formation et les protocoles d’évaluation sous licence MIT pour faire progresser la recherche en open source.

English

We present Apriel-1.5-15B-Thinker, a 15-billion parameter open-weights multimodal reasoning model that achieves frontier-level performance through training design rather than sheer scale. Starting from Pixtral-12B, we apply a progressive three-stage methodology: (1) depth upscaling to expand reasoning capacity without pretraining from scratch, (2) staged continual pre-training that first develops foundational text and vision understanding, then enhances visual reasoning through targeted synthetic data generation addressing spatial structure, compositional understanding, and fine-grained perception, and (3) high-quality text-only supervised fine-tuning on curated instruction-response pairs with explicit reasoning traces spanning mathematics, coding, science, and tool use. Notably, our model achieves competitive results without reinforcement learning or preference optimization, isolating the contribution of our data-centric continual pre-training approach. On the Artificial Analysis Intelligence Index, Apriel-1.5-15B-Thinker attains a score of 52, matching DeepSeek-R1-0528 despite requiring significantly fewer computational resources. Across ten image benchmarks, its performance is on average within five points of Gemini-2.5-Flash and Claude Sonnet-3.7, a key achievement for a model operating within single-GPU deployment constraints. Our results demonstrate that thoughtful mid-training 2 design can close substantial capability gaps without massive scale, making frontier-level multimodal reasoning accessible to organizations with limited infrastructure. We release the model checkpoint, all training recipes, and evaluation protocols under the MIT license to to advance open-source research.