작은 두뇌, 큰 성과: 경량 언어 모델 탐구

초록

최근 연구 환경에서는 대규모 언어 모델이 주도적인 역할을 하고 있지만, 소규모 언어 모델 또한 다양한 영역에서 여전히 중요한 관련성을 지니고 있음에도 불구하고 이에 대한 관심은 훨씬 적은 실정이다. 본 연구에서는 검색 증강 생성(RAG) 시스템 내에서 생성 단계에 소규모 언어 모델이 어떻게 수행되는지 조사하였다. 이러한 모델을 효과적으로 평가하기 위해 다양한 주제 영역과 질문 유형을 포함하는 오픈소스 및 독점 데이터셋을 활용하였다. 연구 결과는 소규모 언어 모델을 탑재한 RAG 시스템이 GPU 하드웨어 없이도 합리적인 시간 내에 기기 내에서 직접 실행될 수 있음을 보여준다. 실험 코드 및 추가 자료 링크는 GitHub 저장소(https://github.com/SibNN/SLM-RAG-EVAL)를 통해 확인할 수 있다.

English

While large language models have been dominating the research landscape recently, small language models remain highly relevant across various domains; yet, they receive far less attention. In this study, we investigate how smaller language models perform during the generation stage within a Retrieval-Augmented Generation (RAG) system. To benchmark these models effectively, we utilised both open-source and proprietary datasets covering diverse subject areas and question types. Our findings demonstrate that a RAG system with small language models can be executed directly on-device without requiring any GPU hardware within a reasonable time. The experimental code and links to the supplementary materials can be accessed through the GitHub repository: https://github.com/SibNN/SLM-RAG-EVAL.