Instella : Des modèles de langage entièrement ouverts aux performances stellaires
Instella: Fully Open Language Models with Stellar Performance
November 13, 2025
papers.authors: Jiang Liu, Jialian Wu, Xiaodong Yu, Yusheng Su, Prakamya Mishra, Gowtham Ramesh, Sudhanshu Ranjan, Chaitanya Manem, Ximeng Sun, Ze Wang, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum
cs.AI
papers.abstract
Les grands modèles de langage (LLM) ont démontré des performances remarquables sur un large éventail de tâches, mais la majorité des modèles les plus performants restent fermés ou partiellement ouverts, limitant ainsi la transparence et la reproductibilité. Dans ce travail, nous présentons Instella, une famille de modèles de langage entièrement ouverts de trois milliards de paramètres, entraînés exclusivement sur des données et une base de code librement accessibles. Propulsé par les GPU AMD Instinct MI300X, Instella est développé grâce à un pré-entraînement à grande échelle, un réglage par instructions polyvalent et un alignement sur les préférences humaines. Bien qu'il utilise un nombre de tokens de pré-entraînement substantiellement inférieur à celui de nombreux modèles contemporains, Instella obtient des résultats de pointe parmi les modèles entièrement ouverts et est compétitif avec les principaux modèles à poids ouverts de taille comparable. Nous publions en outre deux variantes spécialisées : Instella-Long, capable de traiter des contextes allant jusqu'à 128 000 tokens, et Instella-Math, un modèle axé sur le raisonnement, amélioré par un apprentissage supervisé et par renforcement sur des tâches mathématiques. Ensemble, ces contributions établissent Instella comme une alternative transparente, performante et polyvalente pour la communauté, faisant progresser l'objectif de recherche ouverte et reproductible sur la modélisation du langage.
English
Large language models (LLMs) have demonstrated remarkable performance across a wide range of tasks, yet the majority of high-performing models remain closed-source or partially open, limiting transparency and reproducibility. In this work, we introduce Instella, a family of fully open three billion parameter language models trained entirely on openly available data and codebase. Powered by AMD Instinct MI300X GPUs, Instella is developed through large-scale pre-training, general-purpose instruction tuning, and alignment with human preferences. Despite using substantially fewer pre-training tokens than many contemporaries, Instella achieves state-of-the-art results among fully open models and is competitive with leading open-weight models of comparable size. We further release two specialized variants: Instella-Long, capable of handling context lengths up to 128K tokens, and Instella-Math, a reasoning-focused model enhanced through supervised fine-tuning and reinforcement learning on mathematical tasks. Together, these contributions establish Instella as a transparent, performant, and versatile alternative for the community, advancing the goal of open and reproducible language modeling research.