인스텔라: 뛰어난 성능을 자랑하는 완전 오픈 언어 모델

초록

대규모 언어 모델(LLM)은 다양한 과제에서 뛰어난 성능을 입증했으나, 대부분의 고성능 모델은 여전히 폐쇄형 또는 부분 공개형 상태로 투명성과 재현성을 제한하고 있습니다. 본 연구에서는 완전히 공개된 데이터와 코드베이스로만 훈련된 30억 개 파라미터 규모의 완전 오픈소스 언어 모델 패밀리인 Instella를 소개합니다. AMD Instinct MI300X GPU를 기반으로 개발된 Instella는 대규모 사전 훈련, 일반 목적 지시 튜닝, 인간 선호도 정렬을 통해 구축되었습니다. 동시대 많은 모델보다 상당히 적은 사전 훈련 토큰을 사용했음에도 불구하고, Instella는 완전 오픈소스 모델 중 최첨단 성능을 달성하며 유사 규모의 주요 오픈 가중치 모델과도 경쟁력을 보입니다. 또한 두 가지 특화 변종 모델을 공개합니다: 128K 토큰까지의 컨텍스트 길이를 처리할 수 있는 Instella-Long과 수학적 과제에 대한 지도 미세 조정 및 강화 학습으로 강화된 추론 중심 모델 Instella-Math입니다. 이러한 공헌을 통해 Instella는 커뮤니티를 위한 투명하고 고성능이며 다목적 대안으로 자리매김하며, 개방적이고 재현 가능한 언어 모델링 연구의 목표를 앞당기는 성과를 제시합니다.

English

Large language models (LLMs) have demonstrated remarkable performance across a wide range of tasks, yet the majority of high-performing models remain closed-source or partially open, limiting transparency and reproducibility. In this work, we introduce Instella, a family of fully open three billion parameter language models trained entirely on openly available data and codebase. Powered by AMD Instinct MI300X GPUs, Instella is developed through large-scale pre-training, general-purpose instruction tuning, and alignment with human preferences. Despite using substantially fewer pre-training tokens than many contemporaries, Instella achieves state-of-the-art results among fully open models and is competitive with leading open-weight models of comparable size. We further release two specialized variants: Instella-Long, capable of handling context lengths up to 128K tokens, and Instella-Math, a reasoning-focused model enhanced through supervised fine-tuning and reinforcement learning on mathematical tasks. Together, these contributions establish Instella as a transparent, performant, and versatile alternative for the community, advancing the goal of open and reproducible language modeling research.

인스텔라: 뛰어난 성능을 자랑하는 완전 오픈 언어 모델

Instella: Fully Open Language Models with Stellar Performance

초록

Support