Apriel-1.5-15b-Denker

papers.abstract

Wir präsentieren Apriel-1.5-15B-Thinker, ein multimodales Modell zur Wissensverarbeitung mit 15 Milliarden Parametern und offenen Gewichten, das durch ein durchdachtes Trainingsdesign anstatt durch reine Skalierung Spitzenleistungen erzielt. Ausgehend von Pixtral-12B wenden wir eine progressive dreistufige Methodik an: (1) Tiefen-Skalierung, um die Verarbeitungskapazität zu erweitern, ohne ein Pretraining von Grund auf durchzuführen, (2) gestuftes kontinuierliches Pretraining, das zunächst ein grundlegendes Verständnis für Text und Bild entwickelt und dann die visuelle Verarbeitung durch gezielte synthetische Datengenerierung verbessert, die räumliche Strukturen, kompositionelles Verständnis und fein abgestufte Wahrnehmung adressiert, und (3) hochwertiges textbasiertes Supervised Fine-Tuning auf kuratierten Instruktions-Antwort-Paaren mit expliziten Verarbeitungsspuren, die Mathematik, Programmierung, Wissenschaft und Werkzeugnutzung umfassen. Bemerkenswerterweise erzielt unser Modell wettbewerbsfähige Ergebnisse ohne Reinforcement Learning oder Präferenzoptimierung, wodurch der Beitrag unseres datenzentrierten kontinuierlichen Pretraining-Ansatzes isoliert wird. Im Artificial Analysis Intelligence Index erreicht Apriel-1.5-15B-Thinker eine Punktzahl von 52, was DeepSeek-R1-0528 entspricht, obwohl deutlich weniger Rechenressourcen benötigt werden. Über zehn Bild-Benchmarks hinweg liegt seine Leistung im Durchschnitt innerhalb von fünf Punkten von Gemini-2.5-Flash und Claude Sonnet-3.7, eine wichtige Errungenschaft für ein Modell, das innerhalb von Single-GPU-Bereitstellungsbeschränkungen arbeitet. Unsere Ergebnisse zeigen, dass durchdachtes Mid-Training-Design erhebliche Fähigkeitslücken ohne massive Skalierung schließen kann, wodurch Spitzenleistungen in der multimodalen Wissensverarbeitung für Organisationen mit begrenzter Infrastruktur zugänglich werden. Wir veröffentlichen den Modell-Checkpoint, alle Trainingsrezepte und Evaluierungsprotokolle unter der MIT-Lizenz, um die Open-Source-Forschung voranzutreiben.

English

We present Apriel-1.5-15B-Thinker, a 15-billion parameter open-weights multimodal reasoning model that achieves frontier-level performance through training design rather than sheer scale. Starting from Pixtral-12B, we apply a progressive three-stage methodology: (1) depth upscaling to expand reasoning capacity without pretraining from scratch, (2) staged continual pre-training that first develops foundational text and vision understanding, then enhances visual reasoning through targeted synthetic data generation addressing spatial structure, compositional understanding, and fine-grained perception, and (3) high-quality text-only supervised fine-tuning on curated instruction-response pairs with explicit reasoning traces spanning mathematics, coding, science, and tool use. Notably, our model achieves competitive results without reinforcement learning or preference optimization, isolating the contribution of our data-centric continual pre-training approach. On the Artificial Analysis Intelligence Index, Apriel-1.5-15B-Thinker attains a score of 52, matching DeepSeek-R1-0528 despite requiring significantly fewer computational resources. Across ten image benchmarks, its performance is on average within five points of Gemini-2.5-Flash and Claude Sonnet-3.7, a key achievement for a model operating within single-GPU deployment constraints. Our results demonstrate that thoughtful mid-training 2 design can close substantial capability gaps without massive scale, making frontier-level multimodal reasoning accessible to organizations with limited infrastructure. We release the model checkpoint, all training recipes, and evaluation protocols under the MIT license to to advance open-source research.

Apriel-1.5-15b-Denker

Apriel-1.5-15b-Thinker

papers.abstract

Support