Kanana: Rekenkundig efficiënte tweetalige taalmodelen
Kanana: Compute-efficient Bilingual Language Models
February 26, 2025
Auteurs: Kanana LLM Team, Yunju Bak, Hojin Lee, Minho Ryu, Jiyeon Ham, Seungjae Jung, Daniel Wontae Nam, Taegyeong Eo, Donghun Lee, Doohae Jung, Boseop Kim, Nayeon Kim, Jaesun Park, Hyunho Kim, Hyunwoong Ko, Changmin Lee, Kyoung-Woon On, Seulye Baeg, Junrae Cho, Sunghee Jung, Jieun Kang, EungGyun Kim, Eunhwa Kim, Byeongil Ko, Daniel Lee, Minchul Lee, Miok Lee, Shinbok Lee, Gaeun Seo
cs.AI
Samenvatting
We introduceren Kanana, een reeks tweetalige taalmodellen die uitmuntende prestaties leveren in het Koreaans en competitieve prestaties in het Engels. De rekenkosten van Kanana zijn aanzienlijk lager dan die van state-of-the-art modellen van vergelijkbare grootte. Het rapport beschrijft in detail de technieken die tijdens de voorafgaande training zijn gebruikt om rekenkundig efficiënte maar toch competitieve modellen te realiseren, waaronder hoogwaardige datafiltering, gefaseerde voorafgaande training, diepteschaalvergroting, en snoeien en distillatie. Bovendien schetst het rapport de methodologieën die zijn toegepast tijdens de nabehandeling van de Kanana-modellen, waaronder gesuperviseerde fijnafstemming en voorkeursoptimalisatie, gericht op het verbeteren van hun vermogen om naadloos met gebruikers te interageren. Ten slotte gaat het rapport in op plausibele benaderingen die zijn gebruikt voor de aanpassing van taalmodellen aan specifieke scenario's, zoals inbedding, retrieval-augmented generation en functie-aanroeping. De Kanana-modelreeks beslaat een bereik van 2,1B tot 32,5B parameters, waarbij 2,1B-modellen (basis, instructie, inbedding) openbaar zijn vrijgegeven om onderzoek naar Koreaanse taalmodellen te bevorderen.
English
We introduce Kanana, a series of bilingual language models that demonstrate
exceeding performance in Korean and competitive performance in English. The
computational cost of Kanana is significantly lower than that of
state-of-the-art models of similar size. The report details the techniques
employed during pre-training to achieve compute-efficient yet competitive
models, including high quality data filtering, staged pre-training, depth
up-scaling, and pruning and distillation. Furthermore, the report outlines the
methodologies utilized during the post-training of the Kanana models,
encompassing supervised fine-tuning and preference optimization, aimed at
enhancing their capability for seamless interaction with users. Lastly, the
report elaborates on plausible approaches used for language model adaptation to
specific scenarios, such as embedding, retrieval augmented generation, and
function calling. The Kanana model series spans from 2.1B to 32.5B parameters
with 2.1B models (base, instruct, embedding) publicly released to promote
research on Korean language models.