Маленькие мозги, большие достижения: исследование компактных языковых моделей

Аннотация

Хотя в последнее время большие языковые модели доминируют в исследовательском ландшафте, малые языковые модели остаются востребованными в различных областях, однако им уделяется гораздо меньше внимания. В данном исследовании мы изучаем, как малые языковые модели функционируют на этапе генерации в рамках системы генерации с дополнением извлечением (Retrieval-Augmented Generation, RAG). Для эффективного бенчмаркинга этих моделей мы использовали как открытые, так и проприетарные наборы данных, охватывающие различные предметные области и типы вопросов. Наши результаты показывают, что RAG-систему с малыми языковыми моделями можно запускать непосредственно на устройстве без необходимости в каком-либо аппаратном обеспечении GPU за приемлемое время. Экспериментальный код и ссылки на дополнительные материалы доступны в репозитории GitHub: https://github.com/SibNN/SLM-RAG-EVAL.

English

While large language models have been dominating the research landscape recently, small language models remain highly relevant across various domains; yet, they receive far less attention. In this study, we investigate how smaller language models perform during the generation stage within a Retrieval-Augmented Generation (RAG) system. To benchmark these models effectively, we utilised both open-source and proprietary datasets covering diverse subject areas and question types. Our findings demonstrate that a RAG system with small language models can be executed directly on-device without requiring any GPU hardware within a reasonable time. The experimental code and links to the supplementary materials can be accessed through the GitHub repository: https://github.com/SibNN/SLM-RAG-EVAL.