SeaLLMs 3: 동남아시아 언어를 위한 오픈 기반 및 채팅 다국어 대형 언어 모델

SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages

July 29, 2024

저자: Wenxuan Zhang, Hou Pong Chan, Yiran Zhao, Mahani Aljunied, Jianyu Wang, Chaoqun Liu, Yue Deng, Zhiqiang Hu, Weiwen Xu, Yew Ken Chia, Xin Li, Lidong Bing

cs.AI

초록

대형 언어 모델(LLMs)은 다양한 작업에서 놀라운 능력을 보여주었지만, 그 개발은 주로 영어와 중국어와 같은 고자원 언어에 집중되어 저자원 언어는 충분히 지원받지 못하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 동남아시아 언어에 맞춰진 SeaLLMs 모델 패밀리의 최신 버전인 SeaLLMs 3를 소개합니다. 이 지역은 풍부한 언어적 다양성을 특징으로 하지만, 충분한 언어 기술 지원이 부족했습니다. SeaLLMs 3는 영어, 중국어, 인도네시아어, 베트남어, 태국어, 타갈로그어, 말레이어, 버마어, 크메르어, 라오어, 타밀어, 자바어 등 이 지역에서 사용되는 광범위한 언어를 포괄함으로써 이러한 격차를 해소하고자 합니다. 효율적인 언어 향상 기술과 특별히 구성된 명령어 튜닝 데이터셋을 활용하여, SeaLLMs 3는 높은 성능과 다용성을 유지하면서도 훈련 비용을 크게 절감합니다. 우리의 모델은 세계 지식, 수학적 추론, 번역, 명령어 수행과 같은 작업에서 탁월한 성능을 보이며, 비슷한 규모의 모델 중에서 최첨단 성능을 달성합니다. 또한, 일반적인 고려사항과 문화 특화적 고려사항을 모두 다루고 환각 현상을 줄이기 위한 메커니즘을 통합함으로써 안전성과 신뢰성을 우선시했습니다. 이 작업은 포용적 AI의 중요성을 강조하며, 고급 LLM 능력이 충분히 지원받지 못한 언어 및 문화 커뮤니티에도 혜택을 줄 수 있음을 보여줍니다.

English

Large Language Models (LLMs) have shown remarkable abilities across various tasks, yet their development has predominantly centered on high-resource languages like English and Chinese, leaving low-resource languages underserved. To address this disparity, we present SeaLLMs 3, the latest iteration of the SeaLLMs model family, tailored for Southeast Asian languages. This region, characterized by its rich linguistic diversity, has lacked adequate language technology support. SeaLLMs 3 aims to bridge this gap by covering a comprehensive range of languages spoken in this region, including English, Chinese, Indonesian, Vietnamese, Thai, Tagalog, Malay, Burmese, Khmer, Lao, Tamil, and Javanese. Leveraging efficient language enhancement techniques and a specially constructed instruction tuning dataset, SeaLLMs 3 significantly reduces training costs while maintaining high performance and versatility. Our model excels in tasks such as world knowledge, mathematical reasoning, translation, and instruction following, achieving state-of-the-art performance among similarly sized models. Additionally, we prioritized safety and reliability by addressing both general and culture-specific considerations and incorporated mechanisms to reduce hallucinations. This work underscores the importance of inclusive AI, showing that advanced LLM capabilities can benefit underserved linguistic and cultural communities.