Yi: 01.AI의 오픈 파운데이션 모델

초록

우리는 다차원적 역량을 강력하게 보여주는 언어 및 멀티모달 모델 시리즈인 Yi 모델 패밀리를 소개합니다. Yi 모델 패밀리는 6B와 34B 사전 학습된 언어 모델을 기반으로 하며, 이를 채팅 모델, 200K 장문 컨텍스트 모델, 깊이 확장 모델, 그리고 비전-언어 모델로 확장합니다. 우리의 기본 모델은 MMLU와 같은 다양한 벤치마크에서 강력한 성능을 보여주며, 미세 조정된 채팅 모델은 AlpacaEval 및 Chatbot Arena와 같은 주요 평가 플랫폼에서 높은 인간 선호도를 달성합니다. 확장 가능한 슈퍼컴퓨팅 인프라와 고전적인 트랜스포머 아키텍처를 기반으로, 우리는 Yi 모델의 성능이 주로 데이터 엔지니어링 노력으로 인한 데이터 품질에서 비롯된다고 봅니다. 사전 학습을 위해, 우리는 캐스케이드 데이터 중복 제거 및 품질 필터링 파이프라인을 사용하여 3.1조 토큰의 영어 및 중국어 코퍼스를 구축했습니다. 미세 조정을 위해, 우리는 소규모(10K 미만)의 명령어 데이터셋을 여러 번 반복하여 다듬어, 모든 단일 인스턴스가 우리의 머신러닝 엔지니어들에 의해 직접 검증되도록 했습니다. 비전-언어 모델의 경우, 채팅 언어 모델과 비전 트랜스포머 인코더를 결합하고, 모델을 학습시켜 시각적 표현을 언어 모델의 의미 공간에 정렬시켰습니다. 우리는 또한 경량 지속 사전 학습을 통해 컨텍스트 길이를 200K로 확장하고, 강력한 바늘 찾기 검색 성능을 입증했습니다. 사전 학습된 체크포인트의 깊이를 지속 사전 학습을 통해 확장함으로써 성능이 더욱 향상됨을 보여줍니다. 우리는 현재의 결과를 고려할 때, 철저히 최적화된 데이터를 사용하여 모델 파라미터를 계속 확장하면 더 강력한 최첨단 모델을 얻을 수 있을 것이라고 믿습니다.

English

We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.

Yi: 01.AI의 오픈 파운데이션 모델

Yi: Open Foundation Models by 01.AI

초록

Support