Apriel-1.5-15b-Pensatore

Abstract

Presentiamo Apriel-1.5-15B-Thinker, un modello open-weights di ragionamento multimodale da 15 miliardi di parametri che raggiunge prestazioni di livello avanzato attraverso un design di addestramento mirato piuttosto che la semplice scala. Partendo da Pixtral-12B, applichiamo una metodologia progressiva in tre fasi: (1) upscaling della profondità per espandere la capacità di ragionamento senza pretraining da zero, (2) pre-training continuo a fasi che sviluppa prima una comprensione di base del testo e della visione, poi potenzia il ragionamento visivo attraverso la generazione mirata di dati sintetici che affrontano la struttura spaziale, la comprensione compositiva e la percezione fine, e (3) fine-tuning supervisionato di alta qualità su coppie istruzione-risposta curate con tracce di ragionamento esplicite che coprono matematica, programmazione, scienza e uso di strumenti. È degno di nota che il nostro modello raggiunga risultati competitivi senza apprendimento per rinforzo o ottimizzazione delle preferenze, isolando così il contributo del nostro approccio centrato sui dati nel pre-training continuo. Sull'Artificial Analysis Intelligence Index, Apriel-1.5-15B-Thinker ottiene un punteggio di 52, eguagliando DeepSeek-R1-0528 nonostante richieda risorse computazionali significativamente inferiori. Su dieci benchmark di immagini, le sue prestazioni sono in media entro cinque punti da Gemini-2.5-Flash e Claude Sonnet-3.7, un risultato chiave per un modello che opera con i vincoli di deployment su singola GPU. I nostri risultati dimostrano che un design attento a metà addestramento può colmare sostanziali lacune di capacità senza ricorrere a una scala massiccia, rendendo il ragionamento multimodale di livello avanzato accessibile a organizzazioni con infrastrutture limitate. Rilasciamo il checkpoint del modello, tutte le ricette di addestramento e i protocolli di valutazione sotto licenza MIT per promuovere la ricerca open-source.

English

We present Apriel-1.5-15B-Thinker, a 15-billion parameter open-weights multimodal reasoning model that achieves frontier-level performance through training design rather than sheer scale. Starting from Pixtral-12B, we apply a progressive three-stage methodology: (1) depth upscaling to expand reasoning capacity without pretraining from scratch, (2) staged continual pre-training that first develops foundational text and vision understanding, then enhances visual reasoning through targeted synthetic data generation addressing spatial structure, compositional understanding, and fine-grained perception, and (3) high-quality text-only supervised fine-tuning on curated instruction-response pairs with explicit reasoning traces spanning mathematics, coding, science, and tool use. Notably, our model achieves competitive results without reinforcement learning or preference optimization, isolating the contribution of our data-centric continual pre-training approach. On the Artificial Analysis Intelligence Index, Apriel-1.5-15B-Thinker attains a score of 52, matching DeepSeek-R1-0528 despite requiring significantly fewer computational resources. Across ten image benchmarks, its performance is on average within five points of Gemini-2.5-Flash and Claude Sonnet-3.7, a key achievement for a model operating within single-GPU deployment constraints. Our results demonstrate that thoughtful mid-training 2 design can close substantial capability gaps without massive scale, making frontier-level multimodal reasoning accessible to organizations with limited infrastructure. We release the model checkpoint, all training recipes, and evaluation protocols under the MIT license to to advance open-source research.

Apriel-1.5-15b-Pensatore

Apriel-1.5-15b-Thinker

Abstract

Support