Fietje: Een open, efficiënte LLM voor het Nederlands.

Fietje: An open, efficient LLM for Dutch

December 19, 2024

Auteurs: Bram Vanroy

cs.AI

Samenvatting

Dit artikel introduceert Fietje, een familie van kleine taalmodellen (SLM's) die specifiek zijn ontworpen voor de Nederlandse taal. Het model is gebaseerd op Phi 2, een op het Engels gericht model met 2,7 miljard parameters. Fietje heeft bij de lancering competitieve resultaten laten zien ten opzichte van grotere taalmodellen. Een kernpunt van dit werk is transparantie en reproduceerbaarheid: Fietje is volledig open-source, waarbij modelgewichten, datasets, training en evaluatiecode allemaal openbaar toegankelijk zijn. Het artikel bespreekt de prestaties van Fietje en vele andere modellen op een uitgebreide reeks benchmarks op het gebied van redeneren, sentimentanalyse, wereldkennis, linguïstische acceptatie en woordbetekenisontwarring. De evaluatieresultaten illustreren de snelle vooruitgang in het veld van LLM's, waar recente kleine modellen oudere, grotere modellen die waren afgestemd op het Nederlands, overtreffen. Deze trend duidt op een spannende toekomst voor de verwerking van de Nederlandse taal, waarbij zelfs compacte LLM's steeds capabeler worden. Bovendien zijn lopende en toekomstige inspanningen om LLM's aan te passen aan het Nederlands klaar om deze modellen verder te verbeteren, waardoor hun toepasbaarheid en toegankelijkheid worden vergroot. Fietje is slechts een tussenstap in het verbeteren van de toegankelijkheid van taaltechnologie voor gebruikers van de Nederlandse taal.

English

This paper introduces Fietje, a family of small language models (SLMs) specifically designed for the Dutch language. The model is based on Phi 2, an English-centric model of 2.7 billion parameters. Fietje demonstrated competitive results with larger language models upon its release. A core emphasis of this work is transparency and reproducibility: Fietje is fully open-source, with model weights, datasets, training, and evaluation code all publicly accessible. The paper discusses the performance of Fietje and many other models on an extensive evaluation suite of benchmarks on reasoning, sentiment analysis, world knowledge, linguistic acceptability and word sense disambiguation. Evaluation results illustrate the rapid progress in the field of LLMs, where recent small models outperform older, larger models that were fine-tuned for Dutch. This trend signals an exciting future for Dutch language processing, suggesting that even compact LLMs are becoming increasingly capable. Furthermore, ongoing and future efforts to adapt LLMs to Dutch are poised to enhance these models even further, broadening their applicability and accessibility. Fietje is only an intermediate step in improving accessibility to language technology for users of the Dutch language.