Yi: Modelli Fondamentali Aperti di 01.AI

Abstract

Presentiamo la famiglia di modelli Yi, una serie di modelli linguistici e multimodali che dimostrano forti capacità multidimensionali. La famiglia di modelli Yi si basa su modelli linguistici pre-addestrati da 6B e 34B, che successivamente estendiamo a modelli di chat, modelli con contesto lungo 200K, modelli con profondità aumentata e modelli visione-linguaggio. I nostri modelli di base raggiungono prestazioni solide su un'ampia gamma di benchmark come MMLU, mentre i nostri modelli di chat finetunati ottengono un elevato tasso di preferenza umana su piattaforme di valutazione principali come AlpacaEval e Chatbot Arena. Basandoci sulla nostra infrastruttura di supercalcolo scalabile e sull'architettura classica dei transformer, attribuiamo le prestazioni dei modelli Yi principalmente alla qualità dei dati, frutto dei nostri sforzi di data engineering. Per il pre-addestramento, abbiamo costruito un corpus di 3,1 trilioni di token in inglese e cinese utilizzando una pipeline a cascada per la deduplicazione e il filtraggio di qualità dei dati. Per il finetuning, abbiamo perfezionato un dataset di istruzioni di piccole dimensioni (meno di 10K) attraverso iterazioni multiple, in modo che ogni singolo esempio sia stato verificato direttamente dai nostri ingegneri di machine learning. Per i modelli visione-linguaggio, abbiamo combinato il modello linguistico di chat con un encoder vision transformer e addestrato il modello per allineare le rappresentazioni visive allo spazio semantico del modello linguistico. Abbiamo inoltre esteso la lunghezza del contesto a 200K attraverso un pre-addestramento continuo leggero e dimostrato solide prestazioni nel recupero di informazioni complesse (needle-in-a-haystack). Mostriamo che estendere la profondità del checkpoint pre-addestrato attraverso un pre-addestramento continuo migliora ulteriormente le prestazioni. Riteniamo che, dati i risultati attuali, continuare a scalare i parametri del modello utilizzando dati ottimizzati in modo approfondito porterà a modelli di frontiera ancora più potenti.

English

We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.

Yi: Modelli Fondamentali Aperti di 01.AI

Yi: Open Foundation Models by 01.AI

Abstract

Support