MobiLlama: 정확하고 경량화된 완전 투명 GPT를 향하여
MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT
February 26, 2024
저자: Omkar Thawakar, Ashmal Vayani, Salman Khan, Hisham Cholakal, Rao M. Anwer, Michael Felsberg, Tim Baldwin, Eric P. Xing, Fahad Shahbaz Khan
cs.AI
초록
"크면 클수록 좋다"는 최근 대형 언어 모델(Large Language Models, LLMs) 개발의 주요 트렌드였다. 그러나 LLM은 온디바이스 처리, 에너지 효율성, 낮은 메모리 사용량, 응답 효율성이 요구되는 시나리오에는 적합하지 않다. 이러한 요구사항은 프라이버시, 보안, 지속 가능한 배포에 있어 매우 중요하다. 본 논문은 자원이 제한된 기기를 위한 정확하면서도 효율적인 소형 언어 모델(Small Language Models, SLMs) 설계의 도전 과제를 다루며 "적을수록 더 많다"는 패러다임을 탐구한다. 우리의 주요 기여는 자원이 제한된 컴퓨팅의 특수한 요구에 부응하며, 자원 요구량을 줄이면서 성능을 강화한 5억(0.5B) 파라미터의 정확하고 완전히 투명한 오픈소스 SLM인 MobiLlama를 소개하는 것이다. MobiLlama는 더 큰 모델에서 시작하여 신중한 파라미터 공유 기법을 적용해 사전 학습 및 배포 비용을 줄이는 SLM 설계이다. 우리의 작업은 오픈소스 SLM 간의 격차를 메우는 것뿐만 아니라, 전체 학습 데이터 파이프라인, 학습 코드, 모델 가중치, 300개 이상의 체크포인트 및 평가 코드를 포함한 완전한 투명성을 보장한다. 이 모든 자료는 https://github.com/mbzuai-oryx/MobiLlama에서 확인할 수 있다.
English
"Bigger the better" has been the predominant trend in recent Large Language
Models (LLMs) development. However, LLMs do not suit well for scenarios that
require on-device processing, energy efficiency, low memory footprint, and
response efficiency. These requisites are crucial for privacy, security, and
sustainable deployment. This paper explores the "less is more" paradigm by
addressing the challenge of designing accurate yet efficient Small Language
Models (SLMs) for resource constrained devices. Our primary contribution is the
introduction of an accurate and fully transparent open-source 0.5 billion
(0.5B) parameter SLM, named MobiLlama, catering to the specific needs of
resource-constrained computing with an emphasis on enhanced performance with
reduced resource demands. MobiLlama is a SLM design that initiates from a
larger model and applies a careful parameter sharing scheme to reduce both the
pre-training and the deployment cost. Our work strives to not only bridge the
gap in open-source SLMs but also ensures full transparency, where complete
training data pipeline, training code, model weights, and over 300 checkpoints
along with evaluation codes is available at :
https://github.com/mbzuai-oryx/MobiLlama.