Informe Técnico Abierto Solar

Solar Open Technical Report

January 11, 2026

Autores: Sungrae Park, Sanghoon Kim, Jungho Cho, Gyoungjin Gim, Dawoon Jung, Mikyoung Cha, Eunhae Choo, Taekgyu Hong, Minbyul Jeong, SeHwan Joo, Minsoo Khang, Eunwon Kim, Minjeong Kim, Sujeong Kim, Yunsu Kim, Hyeonju Lee, Seunghyun Lee, Sukyung Lee, Siyoung Park, Gyungin Shin, Inseo Song, Wonho Song, Seonghoon Yang, Seungyoun Yi, Sanghoon Yoon, Jeonghyun Ko, Seyoung Song, Keunwoo Choi, Hwalsuk Lee, Sunghun Kim, Du-Seong Chang, Kyunghyun Cho, Junsuk Choe, Hwaran Lee, Jae-Gil Lee, KyungTae Lim, Alice Oh

cs.AI

Resumen

Presentamos Solar Open, un modelo de lenguaje bilingüe Mixture-of-Experts de 102.000 millones de parámetros para lenguajes poco atendidos. Solar Open demuestra una metodología sistemática para construir modelos de lenguaje grandes (LLM) competitivos abordando tres desafíos interconectados. Primero, para entrenar de manera efectiva a pesar de la escasez de datos para lenguajes poco atendidos, sintetizamos 4,5 billones (escala corta) de tokens de datos de alta calidad, específicos del dominio y orientados al aprendizaje por refuerzo (RL). Segundo, organizamos estos datos mediante un currículo progresivo que optimiza conjuntamente la composición, los umbrales de calidad y la cobertura de dominios a lo largo de 20 billones de tokens. Tercero, para habilitar capacidades de razonamiento mediante RL escalable, aplicamos nuestro marco propuesto, SnapPO, para una optimización eficiente. En diversos benchmarks en inglés y coreano, Solar Open logra un rendimiento competitivo, demostrando la efectividad de esta metodología para el desarrollo de IA en lenguajes poco atendidos.

English

We introduce Solar Open, a 102B-parameter bilingual Mixture-of-Experts language model for underserved languages. Solar Open demonstrates a systematic methodology for building competitive LLMs by addressing three interconnected challenges. First, to train effectively despite data scarcity for underserved languages, we synthesize 4.5T tokens of high-quality, domain-specific, and RL-oriented data. Second, we coordinate this data through a progressive curriculum jointly optimizing composition, quality thresholds, and domain coverage across 20 trillion tokens. Third, to enable reasoning capabilities through scalable RL, we apply our proposed framework SnapPO for efficient optimization. Across benchmarks in English and Korean, Solar Open achieves competitive performance, demonstrating the effectiveness of this methodology for underserved language AI development.