Kleine Gehirne, große Leistungen: Erforschung kompakter Sprachmodelle

Zusammenfassung

Während große Sprachmodelle in letzter Zeit die Forschungslandschaft dominieren, bleiben kleine Sprachmodelle in verschiedenen Bereichen hochrelevant; dennoch erhalten sie weit weniger Aufmerksamkeit. In dieser Studie untersuchen wir, wie kleinere Sprachmodelle während der Generierungsphase in einem Retrieval-Augmented-Generation (RAG)-System abschneiden. Um diese Modelle effektiv zu bewerten, nutzten wir sowohl Open-Source- als auch proprietäre Datensätze, die verschiedene Themenbereiche und Fragetypen abdecken. Unsere Ergebnisse zeigen, dass ein RAG-System mit kleinen Sprachmodellen direkt auf dem Gerät ohne jegliche GPU-Hardware innerhalb einer angemessenen Zeit ausgeführt werden kann. Der experimentelle Code und Links zu den ergänzenden Materialien sind über das GitHub-Repository abrufbar: https://github.com/SibNN/SLM-RAG-EVAL.

English

While large language models have been dominating the research landscape recently, small language models remain highly relevant across various domains; yet, they receive far less attention. In this study, we investigate how smaller language models perform during the generation stage within a Retrieval-Augmented Generation (RAG) system. To benchmark these models effectively, we utilised both open-source and proprietary datasets covering diverse subject areas and question types. Our findings demonstrate that a RAG system with small language models can be executed directly on-device without requiring any GPU hardware within a reasonable time. The experimental code and links to the supplementary materials can be accessed through the GitHub repository: https://github.com/SibNN/SLM-RAG-EVAL.