Apriel-1.5-15b-Denker

Samenvatting

We presenteren Apriel-1.5-15B-Thinker, een open-gewichten multimodaal redeneermodel met 15 miljard parameters dat grensverleggende prestaties bereikt door een doordacht trainingsontwerp in plaats van pure schaal. Uitgaande van Pixtral-12B, passen we een progressieve driestapsmethodologie toe: (1) diepteschaalvergroting om de redeneercapaciteit uit te breiden zonder vanaf nul te pretrainen, (2) gefaseerde voortgezette pretraining die eerst een fundamenteel begrip van tekst en visie ontwikkelt, en vervolgens het visuele redeneren versterkt door gerichte synthetische datageneratie die zich richt op ruimtelijke structuur, compositioneel begrip en fijnmazige perceptie, en (3) hoogwaardige tekstgebaseerde supervised fine-tuning op gecureerde instructie-responsparen met expliciete redeneersporen die wiskunde, programmeren, wetenschap en toolgebruik omvatten. Opmerkelijk is dat ons model competitieve resultaten behaalt zonder reinforcement learning of voorkeursoptimalisatie, waardoor de bijdrage van onze data-gerichte voortgezette pretrainingbenadering geïsoleerd wordt. Op de Artificial Analysis Intelligence Index behaalt Apriel-1.5-15B-Thinker een score van 52, wat overeenkomt met DeepSeek-R1-0528 ondanks dat het aanzienlijk minder rekenbronnen vereist. Over tien beeldbenchmarks presteert het gemiddeld binnen vijf punten van Gemini-2.5-Flash en Claude Sonnet-3.7, een belangrijke prestatie voor een model dat binnen de beperkingen van single-GPU-implementatie opereert. Onze resultaten tonen aan dat een doordacht mid-training ontwerp aanzienlijke capaciteitskloofjes kan dichten zonder enorme schaal, waardoor grensverleggend multimodaal redeneren toegankelijk wordt voor organisaties met beperkte infrastructuur. We geven het modelcheckpoint, alle trainingsrecepten en evaluatieprotocollen vrij onder de MIT-licentie om open-source onderzoek te bevorderen.

English

We present Apriel-1.5-15B-Thinker, a 15-billion parameter open-weights multimodal reasoning model that achieves frontier-level performance through training design rather than sheer scale. Starting from Pixtral-12B, we apply a progressive three-stage methodology: (1) depth upscaling to expand reasoning capacity without pretraining from scratch, (2) staged continual pre-training that first develops foundational text and vision understanding, then enhances visual reasoning through targeted synthetic data generation addressing spatial structure, compositional understanding, and fine-grained perception, and (3) high-quality text-only supervised fine-tuning on curated instruction-response pairs with explicit reasoning traces spanning mathematics, coding, science, and tool use. Notably, our model achieves competitive results without reinforcement learning or preference optimization, isolating the contribution of our data-centric continual pre-training approach. On the Artificial Analysis Intelligence Index, Apriel-1.5-15B-Thinker attains a score of 52, matching DeepSeek-R1-0528 despite requiring significantly fewer computational resources. Across ten image benchmarks, its performance is on average within five points of Gemini-2.5-Flash and Claude Sonnet-3.7, a key achievement for a model operating within single-GPU deployment constraints. Our results demonstrate that thoughtful mid-training 2 design can close substantial capability gaps without massive scale, making frontier-level multimodal reasoning accessible to organizations with limited infrastructure. We release the model checkpoint, all training recipes, and evaluation protocols under the MIT license to to advance open-source research.

Apriel-1.5-15b-Denker

Apriel-1.5-15b-Thinker

Samenvatting

Support