Kanana: Modelli Linguistici Bilingue ad Alta Efficienza Computazionale

Kanana: Compute-efficient Bilingual Language Models

February 26, 2025

Autori: Kanana LLM Team, Yunju Bak, Hojin Lee, Minho Ryu, Jiyeon Ham, Seungjae Jung, Daniel Wontae Nam, Taegyeong Eo, Donghun Lee, Doohae Jung, Boseop Kim, Nayeon Kim, Jaesun Park, Hyunho Kim, Hyunwoong Ko, Changmin Lee, Kyoung-Woon On, Seulye Baeg, Junrae Cho, Sunghee Jung, Jieun Kang, EungGyun Kim, Eunhwa Kim, Byeongil Ko, Daniel Lee, Minchul Lee, Miok Lee, Shinbok Lee, Gaeun Seo

cs.AI

Abstract

Presentiamo Kanana, una serie di modelli linguistici bilingui che dimostrano prestazioni eccellenti in coreano e competitive in inglese. Il costo computazionale di Kanana è significativamente inferiore rispetto a quello dei modelli all'avanguardia di dimensioni simili. Il rapporto dettaglia le tecniche impiegate durante la pre-addestramento per ottenere modelli efficienti dal punto di vista computazionale ma comunque competitivi, tra cui il filtraggio di dati di alta qualità, il pre-addestramento a fasi, il ridimensionamento della profondità, e la potatura e distillazione. Inoltre, il rapporto delinea le metodologie utilizzate durante il post-addestramento dei modelli Kanana, comprendendo la messa a punto supervisionata e l'ottimizzazione delle preferenze, mirate a migliorare la loro capacità di interagire in modo fluido con gli utenti. Infine, il rapporto approfondisce gli approcci plausibili utilizzati per l'adattamento dei modelli linguistici a scenari specifici, come l'embedding, la generazione aumentata dal recupero e il richiamo di funzioni. La serie di modelli Kanana spazia da 2,1 miliardi a 32,5 miliardi di parametri, con i modelli da 2,1 miliardi (base, instruct, embedding) rilasciati pubblicamente per promuovere la ricerca sui modelli linguistici coreani.

English

We introduce Kanana, a series of bilingual language models that demonstrate exceeding performance in Korean and competitive performance in English. The computational cost of Kanana is significantly lower than that of state-of-the-art models of similar size. The report details the techniques employed during pre-training to achieve compute-efficient yet competitive models, including high quality data filtering, staged pre-training, depth up-scaling, and pruning and distillation. Furthermore, the report outlines the methodologies utilized during the post-training of the Kanana models, encompassing supervised fine-tuning and preference optimization, aimed at enhancing their capability for seamless interaction with users. Lastly, the report elaborates on plausible approaches used for language model adaptation to specific scenarios, such as embedding, retrieval augmented generation, and function calling. The Kanana model series spans from 2.1B to 32.5B parameters with 2.1B models (base, instruct, embedding) publicly released to promote research on Korean language models.