Yi: Open Foundation Modellen door 01.AI

Samenvatting

We introduceren de Yi-model familie, een reeks taal- en multimodale modellen die sterke multidimensionale capaciteiten demonstreren. De Yi-model familie is gebaseerd op 6B en 34B vooraf getrainde taalmodelen, die we vervolgens uitbreiden naar chatmodellen, 200K lange contextmodellen, diepte-opgeschaalde modellen en visie-taalmodelen. Onze basismodellen behalen sterke prestaties op een breed scala aan benchmarks zoals MMLU, en onze fijn afgestelde chatmodellen leveren een hoge menselijke voorkeursscore op belangrijke evaluatieplatforms zoals AlpacaEval en Chatbot Arena. Gebaseerd op onze schaalbare supercomputing-infrastructuur en de klassieke transformer-architectuur, schrijven we de prestaties van de Yi-modellen voornamelijk toe aan de datakwaliteit die het resultaat is van onze data-engineering inspanningen. Voor het vooraf trainen, construeren we 3,1 biljoen tokens van Engelse en Chinese corpora met behulp van een gecascadeerde datadeduplicatie- en kwaliteitsfilteringspijplijn. Voor het fijn afstellen, polijsten we een kleine schaal (minder dan 10K) instructiedataset over meerdere iteraties, zodat elk afzonderlijk geval direct is geverifieerd door onze machine learning engineers. Voor visie-taal combineren we het chattaalmodel met een vision transformer encoder en trainen we het model om visuele representaties af te stemmen op de semantische ruimte van het taalmodel. We breiden de contextlengte verder uit tot 200K door middel van lichtgewicht voortgezet vooraf trainen en demonstreren sterke naald-in-een-hooiberg-retrievalprestaties. We tonen aan dat het uitbreiden van de diepte van het vooraf getrainde checkpoint door voortgezet vooraf trainen de prestaties verder verbetert. Wij geloven dat, gezien onze huidige resultaten, het blijven opschalen van modelparameters met grondig geoptimaliseerde data zal leiden tot nog sterkere frontiermodellen.

English

We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.

Yi: Open Foundation Modellen door 01.AI

Yi: Open Foundation Models by 01.AI

Samenvatting

Support