Aurora-M: 미국 행정명령에 따라 레드팀 테스트를 거친 최초의 오픈소스 다국어 언어 모델

Aurora-M: The First Open Source Multilingual Language Model Red-teamed according to the U.S. Executive Order

March 30, 2024

저자: Taishi Nakamura, Mayank Mishra, Simone Tedeschi, Yekun Chai, Jason T Stillerman, Felix Friedrich, Prateek Yadav, Tanmay Laud, Vu Minh Chien, Terry Yue Zhuo, Diganta Misra, Ben Bogin, Xuan-Son Vu, Marzena Karpinska, Arnav Varma Dantuluri, Wojciech Kusa, Tommaso Furlanello, Rio Yokota, Niklas Muennighoff, Suhas Pai, Tosin Adewumi, Veronika Laippala, Xiaozhe Yao, Adalberto Junior, Alpay Ariyak, Aleksandr Drozd, Jordan Clive, Kshitij Gupta, Liangyu Chen, Qi Sun, Ken Tsui, Noah Persaud, Nour Fahmy, Tianlong Chen, Mohit Bansal, Nicolo Monti, Tai Dang, Ziyang Luo, Tien-Tung Bui, Roberto Navigli, Virendra Mehta, Matthew Blumberg, Victor May, Huu Nguyen, Sampo Pyysalo

cs.AI

초록

사전 학습된 언어 모델은 여러 AI 애플리케이션의 기반이 되지만, 그 훈련에 드는 높은 계산 비용으로 인해 접근성이 제한됩니다. BLOOM와 StarCoder와 같은 프로젝트는 협력적인 커뮤니티 개발을 위해 사전 학습된 모델에 대한 접근을 민주화하려는 목표를 가지고 있습니다. 그러나 이러한 기존 모델들은 여러 가지 도전에 직면해 있습니다: 제한된 다국어 능력, 지속적인 사전 학습으로 인한 치명적 망각(catastrophic forgetting), 처음부터 사전 학습하는 데 드는 높은 계산 비용, 그리고 AI 안전 및 개발 법규 준수 등이 그것입니다. 본 논문은 영어, 핀란드어, 힌디어, 일본어, 베트남어 및 코드를 포함하여 훈련된 150억 개의 파라미터를 가진 다국어 오픈소스 모델인 Aurora-M을 소개합니다. StarCoderPlus에서 추가로 4,350억 개의 토큰을 지속적으로 사전 학습하여 총 훈련 토큰 수가 2조 개를 넘었습니다. Aurora-M은 인간이 검토한 안전 지침에 맞춰 미세 조정된 최초의 오픈소스 다국어 모델로, 전통적인 레드 팀링(red-teaming) 고려사항뿐만 아니라 바이든-해리스 행정명령에서 명시된 안전하고 신뢰할 수 있는 인공지능 개발 및 사용에 대한 특정 우려사항과도 일치하도록 개발되었습니다. Aurora-M은 다양한 작업과 언어에 걸쳐 엄격하게 평가되었으며, 치명적 망각에 대한 견고함을 보여주고 다국어 환경에서 특히 안전 평가에서 대안들을 능가하는 성능을 입증했습니다. 책임 있는 오픈소스 대형 언어 모델(LLM) 개발을 촉진하기 위해 Aurora-M과 그 변형 모델들은 https://huggingface.co/collections/aurora-m/aurora-m-models-65fdfdff62471e09812f5407 에 공개되었습니다.

English

Pretrained language models underpin several AI applications, but their high computational cost for training limits accessibility. Initiatives such as BLOOM and StarCoder aim to democratize access to pretrained models for collaborative community development. However, such existing models face challenges: limited multilingual capabilities, continual pretraining causing catastrophic forgetting, whereas pretraining from scratch is computationally expensive, and compliance with AI safety and development laws. This paper presents Aurora-M, a 15B parameter multilingual open-source model trained on English, Finnish, Hindi, Japanese, Vietnamese, and code. Continually pretrained from StarCoderPlus on 435 billion additional tokens, Aurora-M surpasses 2 trillion tokens in total training token count. It is the first open-source multilingual model fine-tuned on human-reviewed safety instructions, thus aligning its development not only with conventional red-teaming considerations, but also with the specific concerns articulated in the Biden-Harris Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. Aurora-M is rigorously evaluated across various tasks and languages, demonstrating robustness against catastrophic forgetting and outperforming alternatives in multilingual settings, particularly in safety evaluations. To promote responsible open-source LLM development, Aurora-M and its variants are released at https://huggingface.co/collections/aurora-m/aurora-m-models-65fdfdff62471e09812f5407 .