Petits cerveaux, grandes prouesses : Exploration des modèles de langage compacts

Résumé

Alors que les grands modèles de langage dominent actuellement le paysage de la recherche, les petits modèles de langage restent très pertinents dans divers domaines, mais bénéficient de beaucoup moins d'attention. Dans cette étude, nous examinons comment les petits modèles de langage se comportent lors de l'étape de génération au sein d'un système de Génération Augmentée par Récupération (RAG). Pour évaluer efficacement ces modèles, nous avons utilisé des ensembles de données open source et propriétaires couvrant divers domaines disciplinaires et types de questions. Nos résultats démontrent qu'un système RAG utilisant de petits modèles de langage peut être exécuté directement sur un appareil sans nécessiter de matériel GPU, en un temps raisonnable. Le code expérimental et les liens vers les documents complémentaires sont accessibles via le dépôt GitHub suivant : https://github.com/SibNN/SLM-RAG-EVAL.

English

While large language models have been dominating the research landscape recently, small language models remain highly relevant across various domains; yet, they receive far less attention. In this study, we investigate how smaller language models perform during the generation stage within a Retrieval-Augmented Generation (RAG) system. To benchmark these models effectively, we utilised both open-source and proprietary datasets covering diverse subject areas and question types. Our findings demonstrate that a RAG system with small language models can be executed directly on-device without requiring any GPU hardware within a reasonable time. The experimental code and links to the supplementary materials can be accessed through the GitHub repository: https://github.com/SibNN/SLM-RAG-EVAL.