Магистраль

Аннотация

Мы представляем Magistral, первую модель для рассуждений от Mistral и наш собственный масштабируемый конвейер обучения с подкреплением (RL). Вместо использования существующих реализаций и данных RL, полученных из предыдущих моделей, мы следуем подходу с нуля, полагаясь исключительно на наши собственные модели и инфраструктуру. В частности, мы демонстрируем стек, который позволил нам исследовать пределы чистого RL-обучения больших языковых моделей (LLM), представляем простой метод для принудительного задания языка рассуждений модели и показываем, что RL на текстовых данных сохраняет большую часть возможностей начального чекпоинта. Мы обнаруживаем, что RL на текстах сохраняет или улучшает мультимодальное понимание, следование инструкциям и вызов функций. Мы представляем Magistral Medium, обученную для рассуждений на основе Mistral Medium 3 исключительно с помощью RL, а также открываем исходный код Magistral Small (Apache 2.0), которая дополнительно включает данные холодного старта из Magistral Medium.

English

We introduce Magistral, Mistral's first reasoning model and our own scalable reinforcement learning (RL) pipeline. Instead of relying on existing implementations and RL traces distilled from prior models, we follow a ground up approach, relying solely on our own models and infrastructure. Notably, we demonstrate a stack that enabled us to explore the limits of pure RL training of LLMs, present a simple method to force the reasoning language of the model, and show that RL on text data alone maintains most of the initial checkpoint's capabilities. We find that RL on text maintains or improves multimodal understanding, instruction following and function calling. We present Magistral Medium, trained for reasoning on top of Mistral Medium 3 with RL alone, and we open-source Magistral Small (Apache 2.0) which further includes cold-start data from Magistral Medium.