K-EXAONE 2.0 기술 보고서

초록

본 기술 보고서는 LG AI 연구소가 글로벌 프런티어급 기반 모델을 향한 노력의 일환으로 개발한 오픈 가중치(open-weight) 다국어 기반 모델인 K-EXAONE 2.0을 소개한다. 우리는 처음부터 학습하는 대신 K-EXAONE을 업사이클(upcycle)하고 아키텍처를 확장하여, 총 7,500억 개의 파라미터와 토큰당 약 370억 개의 활성 파라미터를 갖춘 혼합 전문가(MoE) 모델을 구축했다. 이는 이전 모델의 용량 대비 3배 이상이다. K-EXAONE 2.0은 최대 256K 토큰의 문맥 길이를 지원하며, 다국어 지원 범위를 6개 언어에서 10개 언어로 확장한다. 학습 파이프라인은 지속적 사전 학습, 난이도 중심 중간 학습, 후속 학습을 결합하여 추론, 에이전트 코딩(agentic coding), 다국어 능력, 그리고 한국 사회문화적 맥락에 기반한 안전성을 강화한다. 실제 사용 조건을 반영하여 선정한 9개 평가 범주 전반에서 K-EXAONE 2.0은 K-EXAONE 대비 개선된 성능을 보였으며, 오픈 가중치 모델들과의 경쟁력도 유지했다. 특히 에이전트 코딩과 장문맥 이해에서 가장 큰 성능 향상을 보였고, 장문맥 검색과 안전성에서 가장 뚜렷한 강점을 나타냈다. K-EXAONE 2.0은 Apache 2.0 라이선스로 공개되어 더 넓은 AI 생태계가 이를 평가, 배포, 적용하고 이를 기반으로 구축할 수 있게 하며, 글로벌 프런티어를 향한 우리의 도전의 종착점이 아닌 시작점을 의미한다.

English

This technical report presents K-EXAONE 2.0, an open-weight multilingual foundation model developed by LG AI Research as a step in our effort toward global frontier-scale foundation models. Rather than training from scratch, we upcycle K-EXAONE and expand its architecture, yielding a Mixture-of-Experts (MoE) model with 750B total parameters and approximately 37B activated per token---more than three times the capacity of its predecessor. K-EXAONE 2.0 supports context lengths of up to 256K tokens and expands multilingual coverage from six to ten languages. Its training pipeline combines continual pre-training, difficulty-focused mid-training, and post-training to strengthen reasoning, agentic coding, multilingual capability, and safety grounded in Korean sociocultural contexts. Across nine evaluation categories selected to reflect the conditions of practical use, K-EXAONE 2.0 improves over K-EXAONE and remains competitive with open-weight models, showing its largest gains in agentic coding and long-context understanding and its clearest strengths in long-context retrieval and safety. Released under the Apache 2.0 license, K-EXAONE 2.0 enables the wider AI ecosystem to evaluate, deploy, adapt, and build upon it, while marking the beginning---rather than the endpoint---of our challenge toward the global frontier.