Instella: Modelos de Linguagem Totalmente Abertos com Desempenho Estelar
Instella: Fully Open Language Models with Stellar Performance
November 13, 2025
Autores: Jiang Liu, Jialian Wu, Xiaodong Yu, Yusheng Su, Prakamya Mishra, Gowtham Ramesh, Sudhanshu Ranjan, Chaitanya Manem, Ximeng Sun, Ze Wang, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum
cs.AI
Resumo
Os grandes modelos de linguagem (LLMs) demonstraram desempenho notável em uma ampla gama de tarefas, contudo, a maioria dos modelos de alto desempenho permanece de código fechado ou parcialmente aberto, limitando a transparência e a reprodutibilidade. Neste trabalho, apresentamos Instella, uma família de modelos de linguagem totalmente abertos com três bilhões de parâmetros, treinados inteiramente com dados e bases de código abertamente disponíveis. Alimentado pelas GPUs AMD Instinct MI300X, o Instella é desenvolvido por meio de pré-treinamento em larga escala, ajuste de instrução de propósito geral e alinhamento com preferências humanas. Apesar de utilizar substancialmente menos *tokens* de pré-treinamento do que muitos contemporâneos, o Instella alcança resultados de última geração entre modelos totalmente abertos e é competitivo com os principais modelos de pesos abertos de tamanho comparável. Lançamos ainda duas variantes especializadas: Instella-Long, capaz de lidar com contextos de até 128 mil *tokens*, e Instella-Math, um modelo focado em raciocínio aprimorado por meio de ajuste fino supervisionado e aprendizado por reforço em tarefas matemáticas. Juntas, estas contribuições estabelecem o Instella como uma alternativa transparente, de alto desempenho e versátil para a comunidade, avançando o objetivo de uma pesquisa em modelagem de linguagem aberta e reprodutível.
English
Large language models (LLMs) have demonstrated remarkable performance across a wide range of tasks, yet the majority of high-performing models remain closed-source or partially open, limiting transparency and reproducibility. In this work, we introduce Instella, a family of fully open three billion parameter language models trained entirely on openly available data and codebase. Powered by AMD Instinct MI300X GPUs, Instella is developed through large-scale pre-training, general-purpose instruction tuning, and alignment with human preferences. Despite using substantially fewer pre-training tokens than many contemporaries, Instella achieves state-of-the-art results among fully open models and is competitive with leading open-weight models of comparable size. We further release two specialized variants: Instella-Long, capable of handling context lengths up to 128K tokens, and Instella-Math, a reasoning-focused model enhanced through supervised fine-tuning and reinforcement learning on mathematical tasks. Together, these contributions establish Instella as a transparent, performant, and versatile alternative for the community, advancing the goal of open and reproducible language modeling research.