Kanana: Recheneffiziente bilinguale Sprachmodelle

Kanana: Compute-efficient Bilingual Language Models

February 26, 2025

Autoren: Kanana LLM Team, Yunju Bak, Hojin Lee, Minho Ryu, Jiyeon Ham, Seungjae Jung, Daniel Wontae Nam, Taegyeong Eo, Donghun Lee, Doohae Jung, Boseop Kim, Nayeon Kim, Jaesun Park, Hyunho Kim, Hyunwoong Ko, Changmin Lee, Kyoung-Woon On, Seulye Baeg, Junrae Cho, Sunghee Jung, Jieun Kang, EungGyun Kim, Eunhwa Kim, Byeongil Ko, Daniel Lee, Minchul Lee, Miok Lee, Shinbok Lee, Gaeun Seo

cs.AI

Zusammenfassung

Wir stellen Kanana vor, eine Reihe von zweisprachigen Sprachmodellen, die eine herausragende Leistung im Koreanischen und eine wettbewerbsfähige Leistung im Englischen demonstrieren. Die Rechenkosten von Kanana sind deutlich niedriger als bei modernsten Modellen ähnlicher Größe. Der Bericht beschreibt detailliert die Techniken, die während des Vor-Trainings eingesetzt wurden, um recheneffiziente und dennoch wettbewerbsfähige Modelle zu erreichen, darunter hochwertige Datenfilterung, gestaffeltes Vor-Training, Tiefen-Skalierung sowie Beschneidung und Destillation. Darüber hinaus skizziert der Bericht die Methoden, die während des Nach-Trainings der Kanana-Modelle verwendet wurden, einschließlich überwachter Feinabstimmung und Präferenzoptimierung, mit dem Ziel, ihre Fähigkeit zur nahtlosen Interaktion mit Nutzern zu verbessern. Schließlich erläutert der Bericht plausible Ansätze zur Anpassung von Sprachmodellen an spezifische Szenarien, wie Einbettung, retrievergestützte Generierung und Funktionsaufrufe. Die Kanana-Modellreihe umfasst Parameterzahlen von 2,1B bis 32,5B, wobei 2,1B-Modelle (Basis, Instruktion, Einbettung) öffentlich freigegeben wurden, um die Forschung zu koreanischen Sprachmodellen zu fördern.

English

We introduce Kanana, a series of bilingual language models that demonstrate exceeding performance in Korean and competitive performance in English. The computational cost of Kanana is significantly lower than that of state-of-the-art models of similar size. The report details the techniques employed during pre-training to achieve compute-efficient yet competitive models, including high quality data filtering, staged pre-training, depth up-scaling, and pruning and distillation. Furthermore, the report outlines the methodologies utilized during the post-training of the Kanana models, encompassing supervised fine-tuning and preference optimization, aimed at enhancing their capability for seamless interaction with users. Lastly, the report elaborates on plausible approaches used for language model adaptation to specific scenarios, such as embedding, retrieval augmented generation, and function calling. The Kanana model series spans from 2.1B to 32.5B parameters with 2.1B models (base, instruct, embedding) publicly released to promote research on Korean language models.