Instella: Vollständig offene Sprachmodelle mit herausragender Leistung
Instella: Fully Open Language Models with Stellar Performance
November 13, 2025
papers.authors: Jiang Liu, Jialian Wu, Xiaodong Yu, Yusheng Su, Prakamya Mishra, Gowtham Ramesh, Sudhanshu Ranjan, Chaitanya Manem, Ximeng Sun, Ze Wang, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum
cs.AI
papers.abstract
Große Sprachmodelle (Large Language Models, LLMs) haben bemerkenswerte Leistungen in einer Vielzahl von Aufgaben gezeigt, doch die Mehrheit der leistungsstärksten Modelle bleibt quellgeschlossen oder nur teilweise offen, was die Transparenz und Reproduzierbarkeit einschränkt. In dieser Arbeit stellen wir Instella vor, eine Familie vollständig offener Sprachmodelle mit drei Milliarden Parametern, die ausschließlich auf offen verfügbaren Daten und einer offenen Codebasis trainiert wurden. Angetrieben durch AMD Instinct MI300X GPUs wurde Instella durch groß angelegtes Vorabtraining, allgemeine Instruktionsfeinabstimmung und Abstimmung auf menschliche Präferenzen entwickelt. Obwohl wesentlich weniger Vorabtrainings-Tokens als viele vergleichbare Modelle verwendet wurden, erzielt Instella state-of-the-art Ergebnisse unter vollständig offenen Modellen und ist konkurrenzfähig mit führenden Open-Weight-Modellen vergleichbarer Größe. Wir veröffentlichen zudem zwei spezialisierte Varianten: Instella-Long, das Kontextlängen von bis zu 128.000 Tokens verarbeiten kann, und Instella-Math, ein auf logisches Schließen spezialisiertes Modell, das durch überwachte Feinabstimmung und bestärkendes Lernen an mathematischen Aufgaben verbessert wurde. Diese Beiträge etablieren Instella gemeinsam als eine transparente, leistungsstarke und vielseitige Alternative für die Community und fördern so das Ziel einer offenen und reproduzierbaren Forschung im Bereich Sprachmodellierung.
English
Large language models (LLMs) have demonstrated remarkable performance across a wide range of tasks, yet the majority of high-performing models remain closed-source or partially open, limiting transparency and reproducibility. In this work, we introduce Instella, a family of fully open three billion parameter language models trained entirely on openly available data and codebase. Powered by AMD Instinct MI300X GPUs, Instella is developed through large-scale pre-training, general-purpose instruction tuning, and alignment with human preferences. Despite using substantially fewer pre-training tokens than many contemporaries, Instella achieves state-of-the-art results among fully open models and is competitive with leading open-weight models of comparable size. We further release two specialized variants: Instella-Long, capable of handling context lengths up to 128K tokens, and Instella-Math, a reasoning-focused model enhanced through supervised fine-tuning and reinforcement learning on mathematical tasks. Together, these contributions establish Instella as a transparent, performant, and versatile alternative for the community, advancing the goal of open and reproducible language modeling research.