Fietje: Открытая, эффективная LLM для голландского языка

Fietje: An open, efficient LLM for Dutch

December 19, 2024

Авторы: Bram Vanroy

cs.AI

Аннотация

Эта статья представляет Fietje, семейство небольших языковых моделей (SLM), специально разработанных для голландского языка. Модель основана на Phi 2, модели с англоязычной ориентацией с 2,7 миллиардами параметров. Fietje продемонстрировал конкурентоспособные результаты среди более крупных языковых моделей после своего выпуска. Одним из основных акцентов этой работы является прозрачность и воспроизводимость: Fietje полностью открыт исходный код, включая веса модели, наборы данных, обучение и код оценки, все это общедоступно. В статье обсуждается производительность Fietje и многих других моделей на обширном наборе тестов на бенчмарках по рассуждениям, анализу настроений, мировому знанию, лингвистической приемлемости и разрешению смысла слов. Результаты оценки иллюстрируют быстрый прогресс в области LLM, где недавние небольшие модели превосходят старые, более крупные модели, которые были донастроены для голландского языка. Этот тренд сигнализирует о захватывающем будущем для обработки голландского языка, указывая на то, что даже компактные LLM становятся все более способными. Более того, текущие и будущие усилия по адаптации LLM под голландский язык готовы дополнительно улучшить эти модели, расширяя их применимость и доступность. Fietje является лишь промежуточным шагом в улучшении доступности языковой технологии для пользователей голландского языка.

English

This paper introduces Fietje, a family of small language models (SLMs) specifically designed for the Dutch language. The model is based on Phi 2, an English-centric model of 2.7 billion parameters. Fietje demonstrated competitive results with larger language models upon its release. A core emphasis of this work is transparency and reproducibility: Fietje is fully open-source, with model weights, datasets, training, and evaluation code all publicly accessible. The paper discusses the performance of Fietje and many other models on an extensive evaluation suite of benchmarks on reasoning, sentiment analysis, world knowledge, linguistic acceptability and word sense disambiguation. Evaluation results illustrate the rapid progress in the field of LLMs, where recent small models outperform older, larger models that were fine-tuned for Dutch. This trend signals an exciting future for Dutch language processing, suggesting that even compact LLMs are becoming increasingly capable. Furthermore, ongoing and future efforts to adapt LLMs to Dutch are poised to enhance these models even further, broadening their applicability and accessibility. Fietje is only an intermediate step in improving accessibility to language technology for users of the Dutch language.