Instella: Полностью открытые языковые модели с превосходной производительностью

Instella: Fully Open Language Models with Stellar Performance

November 13, 2025

Авторы: Jiang Liu, Jialian Wu, Xiaodong Yu, Yusheng Su, Prakamya Mishra, Gowtham Ramesh, Sudhanshu Ranjan, Chaitanya Manem, Ximeng Sun, Ze Wang, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали выдающиеся результаты в решении широкого круга задач, однако большинство высокопроизводительных моделей остаются закрытыми или частично открытыми, что ограничивает прозрачность и воспроизводимость. В данной работе мы представляем Instella — семейство полностью открытых языковых моделей с тремя миллиардами параметров, обученных исключительно на общедоступных данных и с открытым исходным кодом. Разработанная на базе графических процессоров AMD Instinct MI300X, модель Instella создавалась посредством масштабного предварительного обучения, общей инструктивной настройки и согласования с человеческими предпочтениями. Несмотря на использование значительно меньшего количества токенов при предварительном обучении по сравнению со многими современными аналогами, Instella демонстрирует наилучшие результаты среди полностью открытых моделей и конкурирует с ведущими моделями сравнимого размера с открытыми весами. Мы также выпускаем две специализированные версии: Instella-Long, способную обрабатывать контекст длиной до 128 тысяч токенов, и Instella-Math — модель, ориентированную на логические рассуждения и улучшенную с помощью контролируемого тонкого обучения и обучения с подкреплением на математических задачах. В совокупности эти разработки представляют Instella как прозрачную, производительную и универсальную альтернативу для научного сообщества, способствуя достижению цели открытых и воспроизводимых исследований в области языкового моделирования.

English

Large language models (LLMs) have demonstrated remarkable performance across a wide range of tasks, yet the majority of high-performing models remain closed-source or partially open, limiting transparency and reproducibility. In this work, we introduce Instella, a family of fully open three billion parameter language models trained entirely on openly available data and codebase. Powered by AMD Instinct MI300X GPUs, Instella is developed through large-scale pre-training, general-purpose instruction tuning, and alignment with human preferences. Despite using substantially fewer pre-training tokens than many contemporaries, Instella achieves state-of-the-art results among fully open models and is competitive with leading open-weight models of comparable size. We further release two specialized variants: Instella-Long, capable of handling context lengths up to 128K tokens, and Instella-Math, a reasoning-focused model enhanced through supervised fine-tuning and reinforcement learning on mathematical tasks. Together, these contributions establish Instella as a transparent, performant, and versatile alternative for the community, advancing the goal of open and reproducible language modeling research.