Kanana : Modèles de langage bilingues à efficacité computationnelle

Kanana: Compute-efficient Bilingual Language Models

February 26, 2025

Auteurs: Kanana LLM Team, Yunju Bak, Hojin Lee, Minho Ryu, Jiyeon Ham, Seungjae Jung, Daniel Wontae Nam, Taegyeong Eo, Donghun Lee, Doohae Jung, Boseop Kim, Nayeon Kim, Jaesun Park, Hyunho Kim, Hyunwoong Ko, Changmin Lee, Kyoung-Woon On, Seulye Baeg, Junrae Cho, Sunghee Jung, Jieun Kang, EungGyun Kim, Eunhwa Kim, Byeongil Ko, Daniel Lee, Minchul Lee, Miok Lee, Shinbok Lee, Gaeun Seo

cs.AI

Résumé

Nous présentons Kanana, une série de modèles linguistiques bilingues qui démontrent des performances exceptionnelles en coréen et des performances compétitives en anglais. Le coût computationnel de Kanana est nettement inférieur à celui des modèles de pointe de taille similaire. Ce rapport détaille les techniques employées lors du pré-entraînement pour obtenir des modèles à la fois efficaces en termes de calcul et compétitifs, incluant le filtrage de données de haute qualité, le pré-entraînement par étapes, la mise à l'échelle en profondeur, ainsi que l'élagage et la distillation. De plus, le rapport décrit les méthodologies utilisées lors du post-entraînement des modèles Kanana, comprenant le réglage fin supervisé et l'optimisation des préférences, visant à améliorer leur capacité à interagir de manière fluide avec les utilisateurs. Enfin, le rapport explore les approches plausibles utilisées pour l'adaptation des modèles linguistiques à des scénarios spécifiques, tels que l'incorporation, la génération augmentée par récupération et l'appel de fonctions. La série de modèles Kanana couvre des tailles allant de 2,1 milliards à 32,5 milliards de paramètres, avec les modèles de 2,1 milliards de paramètres (base, instruct, embedding) publiés publiquement pour promouvoir la recherche sur les modèles linguistiques coréens.

English

We introduce Kanana, a series of bilingual language models that demonstrate exceeding performance in Korean and competitive performance in English. The computational cost of Kanana is significantly lower than that of state-of-the-art models of similar size. The report details the techniques employed during pre-training to achieve compute-efficient yet competitive models, including high quality data filtering, staged pre-training, depth up-scaling, and pruning and distillation. Furthermore, the report outlines the methodologies utilized during the post-training of the Kanana models, encompassing supervised fine-tuning and preference optimization, aimed at enhancing their capability for seamless interaction with users. Lastly, the report elaborates on plausible approaches used for language model adaptation to specific scenarios, such as embedding, retrieval augmented generation, and function calling. The Kanana model series spans from 2.1B to 32.5B parameters with 2.1B models (base, instruct, embedding) publicly released to promote research on Korean language models.