Pequeños cerebros, grandes hazañas: Explorando modelos de lenguaje compactos

Resumen

Aunque los modelos de lenguaje grandes han dominado recientemente el panorama investigativo, los modelos de lenguaje pequeños siguen siendo muy relevantes en diversos ámbitos; sin embargo, reciben mucha menos atención. En este estudio, investigamos el rendimiento de los modelos de lenguaje más pequeños durante la etapa de generación dentro de un sistema de Generación Aumentada por Recuperación (RAG). Para evaluar estos modelos de manera efectiva, utilizamos conjuntos de datos tanto de código abierto como propietarios que abarcan diversas áreas temáticas y tipos de preguntas. Nuestros hallazgos demuestran que un sistema RAG con modelos de lenguaje pequeños puede ejecutarse directamente en el dispositivo sin necesidad de hardware de GPU en un tiempo razonable. El código experimental y los enlaces a los materiales complementarios se pueden acceder a través del repositorio de GitHub: https://github.com/SibNN/SLM-RAG-EVAL.

English

While large language models have been dominating the research landscape recently, small language models remain highly relevant across various domains; yet, they receive far less attention. In this study, we investigate how smaller language models perform during the generation stage within a Retrieval-Augmented Generation (RAG) system. To benchmark these models effectively, we utilised both open-source and proprietary datasets covering diverse subject areas and question types. Our findings demonstrate that a RAG system with small language models can be executed directly on-device without requiring any GPU hardware within a reasonable time. The experimental code and links to the supplementary materials can be accessed through the GitHub repository: https://github.com/SibNN/SLM-RAG-EVAL.