인쿠밤: 저자원 아프리카 언어를 위한 소형 언어 모델

InkubaLM: A small language model for low-resource African languages

August 30, 2024

저자: Atnafu Lambebo Tonja, Bonaventure F. P. Dossou, Jessica Ojo, Jenalea Rajab, Fadel Thior, Eric Peter Wairagala, Aremu Anuoluwapo, Pelonomi Moiloa, Jade Abbott, Vukosi Marivate, Benjamin Rosman

cs.AI

초록

고자원 언어 모델은 아프리카 맥락에서 종종 한계에 직면합니다. 거기에는 효율적이고 접근 가능하며 지역적으로 관련성이 있는 모델이 중요하며, 상당한 컴퓨팅 및 데이터 제약 사항 속에서도 필요합니다. 본 논문은 0.4 억 개의 매개변수를 갖는 소규모 언어 모델인 InkubaLM을 소개합니다. 이 모델은 기계 번역, 질의응답, AfriMMLU 및 AfriXnli 작업과 같은 작업에서 상당히 큰 매개변수 수와 더 많은 훈련 데이터를 갖는 모델과 성능이 비슷합니다. 특히, InkubaLM은 감성 분석에서 많은 큰 모델을 능가하며 여러 언어에 걸쳐 현저한 일관성을 보여줍니다. 이 작업은 효과적인 언어 모델이 상당한 자원에 의존해야 한다는 관행적 패러다임에 도전하는 중요한 진전을 나타냅니다. 저희 모델과 데이터셋은 \url{https://huggingface.co/lelapa}에서 공개되어 있어, 저자원 언어에 대한 연구 및 개발을 촉진하기 위해 제공됩니다.

English

High-resource language models often fall short in the African context, where there is a critical need for models that are efficient, accessible, and locally relevant, even amidst significant computing and data constraints. This paper introduces InkubaLM, a small language model with 0.4 billion parameters, which achieves performance comparable to models with significantly larger parameter counts and more extensive training data on tasks such as machine translation, question-answering, AfriMMLU, and the AfriXnli task. Notably, InkubaLM outperforms many larger models in sentiment analysis and demonstrates remarkable consistency across multiple languages. This work represents a pivotal advancement in challenging the conventional paradigm that effective language models must rely on substantial resources. Our model and datasets are publicly available \url{https://huggingface.co/lelapa} to encourage research and development on low-resource languages.