Yi: Modelos Fundacionales Abiertos por 01.AI

Resumen

Presentamos la familia de modelos Yi, una serie de modelos de lenguaje y multimodales que demuestran capacidades sólidas en múltiples dimensiones. La familia de modelos Yi se basa en modelos de lenguaje preentrenados de 6B y 34B, los cuales extendemos para crear modelos de chat, modelos de contexto largo de 200K, modelos con escalado de profundidad y modelos de visión-lenguaje. Nuestros modelos base logran un rendimiento destacado en una amplia gama de benchmarks como MMLU, y nuestros modelos de chat ajustados obtienen una alta tasa de preferencia humana en plataformas de evaluación principales como AlpacaEval y Chatbot Arena. Basándonos en nuestra infraestructura escalable de supercomputación y la arquitectura clásica de transformadores, atribuimos el rendimiento de los modelos Yi principalmente a la calidad de los datos, resultado de nuestros esfuerzos en ingeniería de datos. Para el preentrenamiento, construimos un corpus de 3.1 billones de tokens en inglés y chino utilizando un pipeline en cascada de deduplicación y filtrado de calidad. Para el ajuste fino, refinamos un conjunto de datos de instrucciones de pequeña escala (menos de 10K) a través de múltiples iteraciones, de modo que cada instancia ha sido verificada directamente por nuestros ingenieros de aprendizaje automático. Para visión-lenguaje, combinamos el modelo de lenguaje de chat con un codificador de transformadores de visión y entrenamos el modelo para alinear las representaciones visuales con el espacio semántico del modelo de lenguaje. Además, extendemos la longitud de contexto a 200K mediante un preentrenamiento continuo ligero y demostramos un rendimiento sólido en tareas de recuperación de "aguja en un pajar". Mostramos que extender la profundidad del punto de control preentrenado a través del preentrenamiento continuo mejora aún más el rendimiento. Creemos que, dados nuestros resultados actuales, continuar escalando los parámetros del modelo utilizando datos optimizados de manera exhaustiva conducirá a modelos frontera aún más potentes.

English

We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.

Yi: Modelos Fundacionales Abiertos por 01.AI

Yi: Open Foundation Models by 01.AI

Resumen

Support