마기스트랄

초록

우리는 Mistral의 첫 번째 추론 모델인 Magistral과 우리만의 확장 가능한 강화 학습(RL) 파이프라인을 소개한다. 기존 구현과 이전 모델에서 추출된 RL 트레이스를 의존하는 대신, 우리는 전적으로 우리만의 모델과 인프라에 기반한 초기부터의 접근 방식을 따랐다. 특히, 우리는 순수 RL 훈련의 한계를 탐구할 수 있게 해주는 스택을 보여주고, 모델의 추론 언어를 강제하는 간단한 방법을 제시하며, 텍스트 데이터만으로 RL을 수행해도 초기 체크포인트의 대부분의 능력을 유지할 수 있음을 보여준다. 우리는 텍스트에 대한 RL이 다중 모드 이해, 명령어 수행 및 함수 호출을 유지하거나 개선한다는 것을 발견했다. 우리는 Mistral Medium 3 위에서 RL만으로 추론을 위해 훈련된 Magistral Medium을 제시하고, Magistral Medium의 콜드 스타트 데이터를 추가로 포함한 Magistral Small(Apache 2.0)을 오픈소스로 공개한다.

English

We introduce Magistral, Mistral's first reasoning model and our own scalable reinforcement learning (RL) pipeline. Instead of relying on existing implementations and RL traces distilled from prior models, we follow a ground up approach, relying solely on our own models and infrastructure. Notably, we demonstrate a stack that enabled us to explore the limits of pure RL training of LLMs, present a simple method to force the reasoning language of the model, and show that RL on text data alone maintains most of the initial checkpoint's capabilities. We find that RL on text maintains or improves multimodal understanding, instruction following and function calling. We present Magistral Medium, trained for reasoning on top of Mistral Medium 3 with RL alone, and we open-source Magistral Small (Apache 2.0) which further includes cold-start data from Magistral Medium.