Apriel-1.5-15b-シンカー

要旨

我々は、Apriel-1.5-15B-Thinkerを紹介する。これは150億パラメータのオープンウェイトのマルチモーダル推論モデルであり、単なる規模ではなく、トレーニング設計を通じてフロンティアレベルの性能を達成する。Pixtral-12Bを出発点として、以下の三段階の漸進的手法を適用した：(1) 深さのスケーリングにより、ゼロからの事前学習なしに推論能力を拡張、(2) 段階的な継続事前学習により、まず基礎的なテキストと視覚の理解を発展させ、その後、空間構造、構成理解、細粒度知覚に対処するためのターゲット合成データ生成を通じて視覚推論を強化、(3) 数学、コーディング、科学、ツール使用にわたる明示的な推論トレースを含む精選された指示-応答ペアに基づく高品質なテキストのみの教師ありファインチューニング。特に、我々のモデルは、強化学習や選好最適化なしに競争力のある結果を達成し、データ中心の継続事前学習アプローチの貢献を明確に示している。Artificial Analysis Intelligence Indexにおいて、Apriel-1.5-15B-Thinkerは52のスコアを獲得し、DeepSeek-R1-0528と同等の性能を示しながら、大幅に少ない計算リソースを必要とする。10の画像ベンチマークにおいて、その性能は平均してGemini-2.5-FlashおよびClaude Sonnet-3.7の5ポイント以内であり、シングルGPU展開の制約内で動作するモデルにとって重要な成果である。我々の結果は、中規模トレーニング設計を通じて、大規模なスケールなしに大きな能力ギャップを埋めることができることを示しており、限られたインフラを持つ組織にもフロンティアレベルのマルチモーダル推論を可能にする。我々は、オープンソース研究を推進するため、モデルチェックポイント、すべてのトレーニングレシピ、および評価プロトコルをMITライセンスの下で公開する。

English

We present Apriel-1.5-15B-Thinker, a 15-billion parameter open-weights multimodal reasoning model that achieves frontier-level performance through training design rather than sheer scale. Starting from Pixtral-12B, we apply a progressive three-stage methodology: (1) depth upscaling to expand reasoning capacity without pretraining from scratch, (2) staged continual pre-training that first develops foundational text and vision understanding, then enhances visual reasoning through targeted synthetic data generation addressing spatial structure, compositional understanding, and fine-grained perception, and (3) high-quality text-only supervised fine-tuning on curated instruction-response pairs with explicit reasoning traces spanning mathematics, coding, science, and tool use. Notably, our model achieves competitive results without reinforcement learning or preference optimization, isolating the contribution of our data-centric continual pre-training approach. On the Artificial Analysis Intelligence Index, Apriel-1.5-15B-Thinker attains a score of 52, matching DeepSeek-R1-0528 despite requiring significantly fewer computational resources. Across ten image benchmarks, its performance is on average within five points of Gemini-2.5-Flash and Claude Sonnet-3.7, a key achievement for a model operating within single-GPU deployment constraints. Our results demonstrate that thoughtful mid-training 2 design can close substantial capability gaps without massive scale, making frontier-level multimodal reasoning accessible to organizations with limited infrastructure. We release the model checkpoint, all training recipes, and evaluation protocols under the MIT license to to advance open-source research.

Apriel-1.5-15b-シンカー

Apriel-1.5-15b-Thinker

要旨

Support