Fietje: Ein offener, effizienter LLM für Niederländisch

Fietje: An open, efficient LLM for Dutch

December 19, 2024

Autoren: Bram Vanroy

cs.AI

Zusammenfassung

Dieses Paper stellt Fietje vor, eine Familie von kleinen Sprachmodellen (SLMs), die speziell für die niederländische Sprache entwickelt wurden. Das Modell basiert auf Phi 2, einem englischzentrierten Modell mit 2,7 Milliarden Parametern. Fietje zeigte bei seiner Veröffentlichung wettbewerbsfähige Ergebnisse im Vergleich zu größeren Sprachmodellen. Ein zentraler Schwerpunkt dieser Arbeit liegt auf Transparenz und Reproduzierbarkeit: Fietje ist vollständig Open-Source, wobei Modellgewichte, Datensätze, Training und Evaluationscode öffentlich zugänglich sind. Das Paper diskutiert die Leistung von Fietje und vielen anderen Modellen anhand einer umfangreichen Bewertungssuite von Benchmarks zu Schlussfolgerungen, Sentimentanalyse, Weltwissen, linguistischer Akzeptanz und Wortbedeutungsdifferenzierung. Die Evaluierungsergebnisse veranschaulichen den raschen Fortschritt im Bereich der LLMs, in dem aktuelle kleine Modelle ältere, größere Modelle übertreffen, die für das Niederländische feinabgestimmt wurden. Dieser Trend deutet auf eine aufregende Zukunft für die niederländische Sprachverarbeitung hin und legt nahe, dass selbst kompakte LLMs zunehmend leistungsfähiger werden. Darüber hinaus sind laufende und zukünftige Bemühungen zur Anpassung von LLMs an das Niederländische darauf ausgerichtet, diese Modelle weiter zu verbessern, ihre Anwendbarkeit und Zugänglichkeit zu erweitern. Fietje ist nur ein Zwischenschritt zur Verbesserung des Zugangs zur Sprachtechnologie für Benutzer der niederländischen Sprache.

English

This paper introduces Fietje, a family of small language models (SLMs) specifically designed for the Dutch language. The model is based on Phi 2, an English-centric model of 2.7 billion parameters. Fietje demonstrated competitive results with larger language models upon its release. A core emphasis of this work is transparency and reproducibility: Fietje is fully open-source, with model weights, datasets, training, and evaluation code all publicly accessible. The paper discusses the performance of Fietje and many other models on an extensive evaluation suite of benchmarks on reasoning, sentiment analysis, world knowledge, linguistic acceptability and word sense disambiguation. Evaluation results illustrate the rapid progress in the field of LLMs, where recent small models outperform older, larger models that were fine-tuned for Dutch. This trend signals an exciting future for Dutch language processing, suggesting that even compact LLMs are becoming increasingly capable. Furthermore, ongoing and future efforts to adapt LLMs to Dutch are poised to enhance these models even further, broadening their applicability and accessibility. Fietje is only an intermediate step in improving accessibility to language technology for users of the Dutch language.