Een Open Recept: Het Aanpassen van Taalspecifieke LLM's naar een Redeneermodel in Eén Dag via Modelsamenvoeging

An Open Recipe: Adapting Language-Specific LLMs to a Reasoning Model in One Day via Model Merging

February 13, 2025

Auteurs: Kunat Pipatanakul, Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai

cs.AI

Samenvatting

Deze paper onderzoekt methodologieën voor gegevensselectie en model samenvoeging gericht op het opnemen van geavanceerde redeneermogelijkheden zoals die van DeepSeek R1 in taalspecifieke grote taalmodellen (LLM's), met een specifieke focus op het Thaise LLM. Ons doel is om de redeneermogelijkheden van taalspecifieke LLM's te verbeteren terwijl hun taalvaardigheden behouden blijven. DeepSeek R1 blinkt uit in redeneren, maar profiteert voornamelijk van talen met veel bronnen zoals Engels en Chinees. Echter, talen met weinig bronnen blijven onderbediend vanwege de dominantie van op Engels gerichte trainingsgegevens en modeloptimalisaties, die de prestaties in deze talen beperken. Deze beperking resulteert in onbetrouwbaar code-switchen en verminderde effectiviteit bij taken in talen met weinig bronnen. Ondertussen hebben lokale en regionale LLM-initiatieven geprobeerd deze kloof te overbruggen door taalspecifieke LLM's te ontwikkelen die zich richten op het verbeteren van lokale taalkundige nauwkeurigheid. We tonen aan dat het mogelijk is om met alleen openbaar beschikbare datasets en een computationeel budget van $120 de redeneermogelijkheden van taalspecifieke LLM's te verbeteren tot het niveau van DeepSeek R1, zonder de prestaties bij taken in de doeltaal in gevaar te brengen.

English

This paper investigates data selection and model merging methodologies aimed at incorporating advanced reasoning capabilities such as those of DeepSeek R1 into language-specific large language models (LLMs), with a particular focus on the Thai LLM. Our goal is to enhance the reasoning capabilities of language-specific LLMs while maintaining their target language abilities. DeepSeek R1 excels in reasoning but primarily benefits high-resource languages such as English and Chinese. However, low-resource languages remain underserved due to the dominance of English-centric training data and model optimizations, which limit performance in these languages. This limitation results in unreliable code-switching and diminished effectiveness on tasks in low-resource languages. Meanwhile, local and regional LLM initiatives have attempted to bridge this gap by developing language-specific LLMs that focus on improving local linguistic fidelity. We demonstrate that, with only publicly available datasets and a computational budget of $120, it is possible to enhance the reasoning capabilities of language-specific LLMs to match the level of DeepSeek R1, without compromising their performance on target language tasks.