Kanana: Modelos de Lenguaje Bilingües con Eficiencia Computacional

Kanana: Compute-efficient Bilingual Language Models

February 26, 2025

Autores: Kanana LLM Team, Yunju Bak, Hojin Lee, Minho Ryu, Jiyeon Ham, Seungjae Jung, Daniel Wontae Nam, Taegyeong Eo, Donghun Lee, Doohae Jung, Boseop Kim, Nayeon Kim, Jaesun Park, Hyunho Kim, Hyunwoong Ko, Changmin Lee, Kyoung-Woon On, Seulye Baeg, Junrae Cho, Sunghee Jung, Jieun Kang, EungGyun Kim, Eunhwa Kim, Byeongil Ko, Daniel Lee, Minchul Lee, Miok Lee, Shinbok Lee, Gaeun Seo

cs.AI

Resumen

Presentamos Kanana, una serie de modelos de lenguaje bilingües que demuestran un rendimiento excepcional en coreano y un desempeño competitivo en inglés. El costo computacional de Kanana es significativamente menor que el de los modelos de última generación de tamaño similar. El informe detalla las técnicas empleadas durante el preentrenamiento para lograr modelos eficientes en términos de cómputo pero competitivos, incluyendo el filtrado de datos de alta calidad, el preentrenamiento por etapas, el escalado de profundidad, y la poda y destilación. Además, el informe describe las metodologías utilizadas durante el postentrenamiento de los modelos Kanana, abarcando el ajuste fino supervisado y la optimización de preferencias, con el objetivo de mejorar su capacidad para interactuar de manera fluida con los usuarios. Por último, el informe profundiza en los enfoques plausibles utilizados para la adaptación de modelos de lenguaje a escenarios específicos, como la incrustación, la generación aumentada por recuperación y la llamada a funciones. La serie de modelos Kanana abarca desde 2.1B hasta 32.5B parámetros, con modelos de 2.1B (base, instruct, embedding) liberados públicamente para fomentar la investigación en modelos de lenguaje coreanos.

English

We introduce Kanana, a series of bilingual language models that demonstrate exceeding performance in Korean and competitive performance in English. The computational cost of Kanana is significantly lower than that of state-of-the-art models of similar size. The report details the techniques employed during pre-training to achieve compute-efficient yet competitive models, including high quality data filtering, staged pre-training, depth up-scaling, and pruning and distillation. Furthermore, the report outlines the methodologies utilized during the post-training of the Kanana models, encompassing supervised fine-tuning and preference optimization, aimed at enhancing their capability for seamless interaction with users. Lastly, the report elaborates on plausible approaches used for language model adaptation to specific scenarios, such as embedding, retrieval augmented generation, and function calling. The Kanana model series spans from 2.1B to 32.5B parameters with 2.1B models (base, instruct, embedding) publicly released to promote research on Korean language models.