K-EXAONE 2.0 テクニカルレポート

要旨

本テクニカルレポートでは、グローバルなフロンティア規模の基盤モデルを目指す取り組みの一環としてLG AI Researchが開発した、オープンウェイトの多言語基盤モデルK-EXAONE 2.0について紹介する。我々はゼロからの学習を行うのではなく、K-EXAONEをアップサイクリングしてアーキテクチャを拡張することで、総パラメータ数750B、トークンあたり約37Bの活性化パラメータを有する混合エキスパート（MoE）モデルを実現した。これは前モデルの3倍以上の容量に相当する。K-EXAONE 2.0は最大256Kトークンのコンテキスト長をサポートし、多言語対応を6言語から10言語に拡大している。そのトレーニングパイプラインは、継続的事前学習、難易度重視の中間学習、事後学習を組み合わせることで、推論能力、エージェント型コーディング、多言語能力、および韓国の社会文化的文脈に基づく安全性を強化している。実際の使用条件下での性能を反映するよう選定された9つの評価カテゴリーにおいて、K-EXAONE 2.0はK-EXAONEから改善し、オープンウェイトモデルと競争力を維持している。最大の向上はエージェント型コーディングと長文脈理解で見られ、最も明確な強みは長文脈検索と安全性において発揮されている。Apache 2.0ライセンスのもとで公開されたK-EXAONE 2.0は、より広範なAIエコシステムが本モデルを評価、展開、適応、およびそれを基盤とした構築を行うことを可能にし、グローバルなフロンティアへの挑戦の終着点ではなく出発点を示すものである。

English

This technical report presents K-EXAONE 2.0, an open-weight multilingual foundation model developed by LG AI Research as a step in our effort toward global frontier-scale foundation models. Rather than training from scratch, we upcycle K-EXAONE and expand its architecture, yielding a Mixture-of-Experts (MoE) model with 750B total parameters and approximately 37B activated per token---more than three times the capacity of its predecessor. K-EXAONE 2.0 supports context lengths of up to 256K tokens and expands multilingual coverage from six to ten languages. Its training pipeline combines continual pre-training, difficulty-focused mid-training, and post-training to strengthen reasoning, agentic coding, multilingual capability, and safety grounded in Korean sociocultural contexts. Across nine evaluation categories selected to reflect the conditions of practical use, K-EXAONE 2.0 improves over K-EXAONE and remains competitive with open-weight models, showing its largest gains in agentic coding and long-context understanding and its clearest strengths in long-context retrieval and safety. Released under the Apache 2.0 license, K-EXAONE 2.0 enables the wider AI ecosystem to evaluate, deploy, adapt, and build upon it, while marking the beginning---rather than the endpoint---of our challenge toward the global frontier.