Fietje : Un LLM ouvert et efficace pour le néerlandais

Fietje: An open, efficient LLM for Dutch

December 19, 2024

Auteurs: Bram Vanroy

cs.AI

Résumé

Cet article présente Fietje, une famille de petits modèles de langage (SLM) spécifiquement conçus pour la langue néerlandaise. Le modèle est basé sur Phi 2, un modèle centré sur l'anglais de 2,7 milliards de paramètres. Fietje a démontré des résultats compétitifs avec des modèles de langage plus grands dès sa sortie. Un accent central de ce travail est la transparence et la reproductibilité : Fietje est entièrement open-source, avec les poids du modèle, les ensembles de données, l'entraînement et le code d'évaluation tous accessibles au public. L'article discute des performances de Fietje et de nombreux autres modèles sur une suite d'évaluations étendue de benchmarks sur le raisonnement, l'analyse de sentiment, la connaissance du monde, l'acceptabilité linguistique et la désambiguïsation des sens des mots. Les résultats d'évaluation illustrent les progrès rapides dans le domaine des LLM, où les récents petits modèles surpassent les anciens modèles plus grands qui étaient affinés pour le néerlandais. Cette tendance annonce un avenir passionnant pour le traitement de la langue néerlandaise, suggérant que même les LLM compacts deviennent de plus en plus performants. De plus, les efforts actuels et futurs pour adapter les LLM au néerlandais sont prêts à améliorer encore davantage ces modèles, élargissant leur applicabilité et leur accessibilité. Fietje n'est qu'une étape intermédiaire dans l'amélioration de l'accessibilité à la technologie linguistique pour les utilisateurs de la langue néerlandaise.

English

This paper introduces Fietje, a family of small language models (SLMs) specifically designed for the Dutch language. The model is based on Phi 2, an English-centric model of 2.7 billion parameters. Fietje demonstrated competitive results with larger language models upon its release. A core emphasis of this work is transparency and reproducibility: Fietje is fully open-source, with model weights, datasets, training, and evaluation code all publicly accessible. The paper discusses the performance of Fietje and many other models on an extensive evaluation suite of benchmarks on reasoning, sentiment analysis, world knowledge, linguistic acceptability and word sense disambiguation. Evaluation results illustrate the rapid progress in the field of LLMs, where recent small models outperform older, larger models that were fine-tuned for Dutch. This trend signals an exciting future for Dutch language processing, suggesting that even compact LLMs are becoming increasingly capable. Furthermore, ongoing and future efforts to adapt LLMs to Dutch are poised to enhance these models even further, broadening their applicability and accessibility. Fietje is only an intermediate step in improving accessibility to language technology for users of the Dutch language.