Pequenos Cérebros, Grandes Feitos: Explorando Modelos de Linguagem Compactos

Resumo

Embora os modelos de linguagem de grande escala tenham dominado recentemente o panorama da pesquisa, os modelos de linguagem pequenos continuam altamente relevantes em diversos domínios; no entanto, recebem muito menos atenção. Neste estudo, investigamos o desempenho de modelos de linguagem menores durante a fase de geração em um sistema de Geração Aumentada por Recuperação (RAG). Para avaliar esses modelos de forma eficaz, utilizamos conjuntos de dados de código aberto e proprietários, abrangendo diversas áreas temáticas e tipos de perguntas. Nossos resultados demonstram que um sistema RAG com modelos de linguagem pequenos pode ser executado diretamente no dispositivo, sem exigir qualquer hardware de GPU, em um tempo razoável. O código experimental e os links para os materiais complementares podem ser acessados através do repositório GitHub: https://github.com/SibNN/SLM-RAG-EVAL.

English

While large language models have been dominating the research landscape recently, small language models remain highly relevant across various domains; yet, they receive far less attention. In this study, we investigate how smaller language models perform during the generation stage within a Retrieval-Augmented Generation (RAG) system. To benchmark these models effectively, we utilised both open-source and proprietary datasets covering diverse subject areas and question types. Our findings demonstrate that a RAG system with small language models can be executed directly on-device without requiring any GPU hardware within a reasonable time. The experimental code and links to the supplementary materials can be accessed through the GitHub repository: https://github.com/SibNN/SLM-RAG-EVAL.