Relatório Técnico Aberto Solar
Solar Open Technical Report
January 11, 2026
Autores: Sungrae Park, Sanghoon Kim, Jungho Cho, Gyoungjin Gim, Dawoon Jung, Mikyoung Cha, Eunhae Choo, Taekgyu Hong, Minbyul Jeong, SeHwan Joo, Minsoo Khang, Eunwon Kim, Minjeong Kim, Sujeong Kim, Yunsu Kim, Hyeonju Lee, Seunghyun Lee, Sukyung Lee, Siyoung Park, Gyungin Shin, Inseo Song, Wonho Song, Seonghoon Yang, Seungyoun Yi, Sanghoon Yoon, Jeonghyun Ko, Seyoung Song, Keunwoo Choi, Hwalsuk Lee, Sunghun Kim, Du-Seong Chang, Kyunghyun Cho, Junsuk Choe, Hwaran Lee, Jae-Gil Lee, KyungTae Lim, Alice Oh
cs.AI
Resumo
Apresentamos o Solar Open, um modelo de linguagem bilíngue do tipo Mixture-of-Experts com 102 bilhões de parâmetros, desenvolvido para línguas subatendidas. O Solar Open demonstra uma metodologia sistemática para a construção de LLMs competitivos, abordando três desafios interconectados. Primeiro, para treinar de forma eficaz apesar da escassez de dados para línguas subatendidas, sintetizamos 4,5 trilhões de *tokens* de dados de alta qualidade, específicos de domínio e orientados para Aprendizado por Reforço (RL). Segundo, coordenamos esses dados por meio de um currículo progressivo que otimiza conjuntamente a composição, os limiares de qualidade e a cobertura de domínio em 20 trilhões de *tokens*. Terceiro, para habilitar capacidades de raciocínio por meio de RL escalável, aplicamos nossa estrutura proposta, a SnapPO, para uma otimização eficiente. Em *benchmarks* em inglês e coreano, o Solar Open atua de forma competitiva, demonstrando a eficácia desta metodologia para o desenvolvimento de IA em línguas subatendidas.
English
We introduce Solar Open, a 102B-parameter bilingual Mixture-of-Experts language model for underserved languages. Solar Open demonstrates a systematic methodology for building competitive LLMs by addressing three interconnected challenges. First, to train effectively despite data scarcity for underserved languages, we synthesize 4.5T tokens of high-quality, domain-specific, and RL-oriented data. Second, we coordinate this data through a progressive curriculum jointly optimizing composition, quality thresholds, and domain coverage across 20 trillion tokens. Third, to enable reasoning capabilities through scalable RL, we apply our proposed framework SnapPO for efficient optimization. Across benchmarks in English and Korean, Solar Open achieves competitive performance, demonstrating the effectiveness of this methodology for underserved language AI development.