Une recette ouverte : Adapter des LLMs spécifiques à une langue à un modèle de raisonnement en une journée via la fusion de modèles

An Open Recipe: Adapting Language-Specific LLMs to a Reasoning Model in One Day via Model Merging

February 13, 2025

Auteurs: Kunat Pipatanakul, Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai

cs.AI

Résumé

Cet article examine les méthodologies de sélection de données et de fusion de modèles visant à intégrer des capacités de raisonnement avancées telles que celles de DeepSeek R1 dans des grands modèles de langage (LLM) spécifiques à une langue, en mettant particulièrement l'accent sur le LLM thaïlandais. Notre objectif est d'améliorer les capacités de raisonnement des LLM spécifiques à une langue tout en préservant leurs compétences linguistiques cibles. DeepSeek R1 excelle dans le raisonnement mais profite principalement aux langues à ressources élevées telles que l'anglais et le chinois. Cependant, les langues à faibles ressources restent sous-desservies en raison de la domination des données d'entraînement et des optimisations de modèles centrées sur l'anglais, ce qui limite les performances dans ces langues. Cette limitation se traduit par un commutation de code peu fiable et une efficacité réduite dans les tâches des langues à faibles ressources. Pendant ce temps, des initiatives locales et régionales de LLM ont tenté de combler ce fossé en développant des LLM spécifiques à une langue qui se concentrent sur l'amélioration de la fidélité linguistique locale. Nous démontrons qu'avec seulement des ensembles de données disponibles publiquement et un budget informatique de 120 $, il est possible d'améliorer les capacités de raisonnement des LLM spécifiques à une langue pour les faire correspondre au niveau de DeepSeek R1, sans compromettre leurs performances sur les tâches de la langue cible.

English

This paper investigates data selection and model merging methodologies aimed at incorporating advanced reasoning capabilities such as those of DeepSeek R1 into language-specific large language models (LLMs), with a particular focus on the Thai LLM. Our goal is to enhance the reasoning capabilities of language-specific LLMs while maintaining their target language abilities. DeepSeek R1 excels in reasoning but primarily benefits high-resource languages such as English and Chinese. However, low-resource languages remain underserved due to the dominance of English-centric training data and model optimizations, which limit performance in these languages. This limitation results in unreliable code-switching and diminished effectiveness on tasks in low-resource languages. Meanwhile, local and regional LLM initiatives have attempted to bridge this gap by developing language-specific LLMs that focus on improving local linguistic fidelity. We demonstrate that, with only publicly available datasets and a computational budget of $120, it is possible to enhance the reasoning capabilities of language-specific LLMs to match the level of DeepSeek R1, without compromising their performance on target language tasks.