Yi: Открытые модели базовых данных от 01.AI
Yi: Open Foundation Models by 01.AI
March 7, 2024
Авторы: 01. AI, Alex Young, Bei Chen, Chao Li, Chengen Huang, Ge Zhang, Guanwei Zhang, Heng Li, Jiangcheng Zhu, Jianqun Chen, Jing Chang, Kaidong Yu, Peng Liu, Qiang Liu, Shawn Yue, Senbin Yang, Shiming Yang, Tao Yu, Wen Xie, Wenhao Huang, Xiaohui Hu, Xiaoyi Ren, Xinyao Niu, Pengcheng Nie, Yuchi Xu, Yudong Liu, Yue Wang, Yuxuan Cai, Zhenyu Gu, Zhiyuan Liu, Zonghong Dai
cs.AI
Аннотация
Мы представляем семейство моделей Yi, серию языковых и мультимодальных моделей, демонстрирующих высокие многомерные возможности. Семейство моделей Yi основано на предварительно обученных языковых моделях объемом 6 миллиардов и 34 миллиарда токенов, после чего мы расширяем их до моделей для чатов, моделей с длинным контекстом в 200 тысяч токенов, моделей с увеличенной глубиной и моделей для видео-языкового взаимодействия. Наши базовые модели показывают высокую производительность на широком спектре бенчмарков, таких как MMLU, а наши донастроенные модели для чатов демонстрируют высокую оценку предпочтения человека на основных платформах оценки, таких как AlpacaEval и Chatbot Arena. Основываясь на нашей масштабируемой суперкомпьютерной инфраструктуре и классической архитектуре трансформера, мы приписываем производительность моделей Yi в первую очередь к качеству данных, полученному благодаря нашим усилиям по инженерии данных. Для предварительного обучения мы создаем 3,1 триллиона токенов англоязычных и китайских корпусов, используя каскадную систему дедупликации данных и фильтрации по качеству. Для донастройки мы улучшаем небольшой набор данных инструкций (менее 10 тысяч) на протяжении нескольких итераций таким образом, что каждый отдельный пример был проверен непосредственно нашими инженерами машинного обучения. Для видео-языкового взаимодействия мы объединяем языковую модель для чатов с кодировщиком трансформера для видео и обучаем модель выравнивать визуальные представления с семантическим пространством языковой модели. Мы дополнительно увеличиваем длину контекста до 200 тысяч токенов с помощью легкого непрерывного предварительного обучения и демонстрируем высокую производительность поиска "иголки в стоге сена". Мы показываем, что увеличение глубины предварительной точки через непрерывное предварительное обучение дополнительно улучшает производительность. Мы считаем, что, учитывая наши текущие результаты, продолжение увеличения параметров модели с тщательно оптимизированными данными приведет к еще более сильным моделям на передовом фронте.
English
We introduce the Yi model family, a series of language and multimodal models
that demonstrate strong multi-dimensional capabilities. The Yi model family is
based on 6B and 34B pretrained language models, then we extend them to chat
models, 200K long context models, depth-upscaled models, and vision-language
models. Our base models achieve strong performance on a wide range of
benchmarks like MMLU, and our finetuned chat models deliver strong human
preference rate on major evaluation platforms like AlpacaEval and Chatbot
Arena. Building upon our scalable super-computing infrastructure and the
classical transformer architecture, we attribute the performance of Yi models
primarily to its data quality resulting from our data-engineering efforts. For
pretraining, we construct 3.1 trillion tokens of English and Chinese corpora
using a cascaded data deduplication and quality filtering pipeline. For
finetuning, we polish a small scale (less than 10K) instruction dataset over
multiple iterations such that every single instance has been verified directly
by our machine learning engineers. For vision-language, we combine the chat
language model with a vision transformer encoder and train the model to align
visual representations to the semantic space of the language model. We further
extend the context length to 200K through lightweight continual pretraining and
demonstrate strong needle-in-a-haystack retrieval performance. We show that
extending the depth of the pretrained checkpoint through continual pretraining
further improves performance. We believe that given our current results,
continuing to scale up model parameters using thoroughly optimized data will
lead to even stronger frontier models.