Instella: Volledig Open Taalmodellen met Uitstekende Prestaties
Instella: Fully Open Language Models with Stellar Performance
November 13, 2025
Auteurs: Jiang Liu, Jialian Wu, Xiaodong Yu, Yusheng Su, Prakamya Mishra, Gowtham Ramesh, Sudhanshu Ranjan, Chaitanya Manem, Ximeng Sun, Ze Wang, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum
cs.AI
Samenvatting
Grote taalmodellen (LLM's) hebben opmerkelijke prestaties geleverd bij een breed scala aan taken, maar de meeste hoogpresterende modellen blijven closed-source of gedeeltelijk open, wat de transparantie en reproduceerbaarheid beperkt. In dit werk introduceren we Instella, een familie van volledig open taalmodellen met drie miljard parameters, die volledig zijn getraind op openbaar beschikbare data en codebase. Aangedreven door AMD Instinct MI300X GPU's, is Instella ontwikkeld via grootschalige pre-training, algemene instruction tuning en afstemming op menselijke voorkeuren. Ondanks het gebruik van aanzienlijk minder pre-training tokens dan veel tijdgenoten, behaalt Instella state-of-the-art resultaten onder volledig open modellen en is het concurrerend met toonaangevende open-weight modellen van vergelijkbare grootte. We brengen verder twee gespecialiseerde varianten uit: Instella-Long, in staat om contextlengtes tot 128K tokens te verwerken, en Instella-Math, een op redeneren gericht model verbeterd door supervised fine-tuning en reinforcement learning op wiskundige taken. Gezamenlijk vestigen deze bijdragen Instella als een transparant, presterend en veelzijdig alternatief voor de gemeenschap, waarmee het doel van open en reproduceerbaar taalmodelleringsonderzoek wordt bevorderd.
English
Large language models (LLMs) have demonstrated remarkable performance across a wide range of tasks, yet the majority of high-performing models remain closed-source or partially open, limiting transparency and reproducibility. In this work, we introduce Instella, a family of fully open three billion parameter language models trained entirely on openly available data and codebase. Powered by AMD Instinct MI300X GPUs, Instella is developed through large-scale pre-training, general-purpose instruction tuning, and alignment with human preferences. Despite using substantially fewer pre-training tokens than many contemporaries, Instella achieves state-of-the-art results among fully open models and is competitive with leading open-weight models of comparable size. We further release two specialized variants: Instella-Long, capable of handling context lengths up to 128K tokens, and Instella-Math, a reasoning-focused model enhanced through supervised fine-tuning and reinforcement learning on mathematical tasks. Together, these contributions establish Instella as a transparent, performant, and versatile alternative for the community, advancing the goal of open and reproducible language modeling research.