Kleine hersenen, grote prestaties: Verkenning van compacte taalmodellen

Samenvatting

Hoewel grote taalmodellen de laatste tijd het onderzoekslandschap domineren, blijven kleine taalmodellen zeer relevant in verschillende domeinen; toch krijgen ze veel minder aandacht. In deze studie onderzoeken we hoe kleinere taalmodellen presteren tijdens de generatiefase binnen een Retrieval-Augmented Generation (RAG)-systeem. Om deze modellen effectief te benchmarken, hebben we zowel open-source als propriëtaire datasets gebruikt die diverse vakgebieden en vraagtypen bestrijken. Onze bevindingen tonen aan dat een RAG-systeem met kleine taalmodellen direct op het apparaat kan worden uitgevoerd zonder dat er GPU-hardware nodig is, binnen een redelijke tijd. De experimentele code en links naar het aanvullend materiaal zijn toegankelijk via de GitHub-repository: https://github.com/SibNN/SLM-RAG-EVAL.

English

While large language models have been dominating the research landscape recently, small language models remain highly relevant across various domains; yet, they receive far less attention. In this study, we investigate how smaller language models perform during the generation stage within a Retrieval-Augmented Generation (RAG) system. To benchmark these models effectively, we utilised both open-source and proprietary datasets covering diverse subject areas and question types. Our findings demonstrate that a RAG system with small language models can be executed directly on-device without requiring any GPU hardware within a reasonable time. The experimental code and links to the supplementary materials can be accessed through the GitHub repository: https://github.com/SibNN/SLM-RAG-EVAL.