Yi: Modelos de Fundação Abertos por 01.AI

Resumo

Apresentamos a família de modelos Yi, uma série de modelos de linguagem e multimodais que demonstram fortes capacidades multidimensionais. A família de modelos Yi é baseada em modelos de linguagem pré-treinados de 6B e 34B, que então estendemos para modelos de chat, modelos de contexto longo de 200K, modelos com profundidade escalonada e modelos de visão e linguagem. Nossos modelos base alcançam um desempenho robusto em uma ampla gama de benchmarks, como o MMLU, e nossos modelos de chat ajustados obtêm uma alta taxa de preferência humana em principais plataformas de avaliação, como o AlpacaEval e o Chatbot Arena. Com base em nossa infraestrutura escalável de supercomputação e na arquitetura clássica de transformers, atribuímos o desempenho dos modelos Yi principalmente à qualidade dos dados resultante de nossos esforços de engenharia de dados. Para o pré-treinamento, construímos um corpus de 3,1 trilhões de tokens em inglês e chinês utilizando um pipeline em cascata de deduplicação e filtragem de qualidade de dados. Para o ajuste fino, refinamos um conjunto de dados de instruções em pequena escala (menos de 10K) ao longo de múltiplas iterações, de modo que cada instância foi verificada diretamente por nossos engenheiros de aprendizado de máquina. Para visão e linguagem, combinamos o modelo de linguagem de chat com um codificador de transformer de visão e treinamos o modelo para alinhar representações visuais ao espaço semântico do modelo de linguagem. Além disso, estendemos o comprimento do contexto para 200K por meio de pré-treinamento contínuo leve e demonstramos um forte desempenho na tarefa de recuperação de "agulha no palheiro". Mostramos que estender a profundidade do checkpoint pré-treinado por meio de pré-treinamento contínuo melhora ainda mais o desempenho. Acreditamos que, dados nossos resultados atuais, continuar a escalar os parâmetros do modelo utilizando dados minuciosamente otimizados levará a modelos de fronteira ainda mais robustos.

English

We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.

Yi: Modelos de Fundação Abertos por 01.AI

Yi: Open Foundation Models by 01.AI

Resumo

Support