Yi: Offene Grundlagenmodelle von 01.AI

Zusammenfassung

Wir stellen die Yi-Modellfamilie vor, eine Reihe von Sprach- und multimodalen Modellen, die starke multidimensionale Fähigkeiten aufweisen. Die Yi-Modellfamilie basiert auf den vortrainierten Sprachmodellen mit 6B und 34B, die wir dann zu Chatmodellen, Modellen mit 200K langem Kontext, tiefenskalierten Modellen und Sprach-Vision-Modellen erweitern. Unsere Basismodelle erzielen starke Leistungen in einer Vielzahl von Benchmarks wie MMLU, und unsere feinabgestimmten Chatmodelle erzielen eine hohe menschliche Präferenzrate auf wichtigen Evaluationsplattformen wie AlpacaEval und Chatbot Arena. Basierend auf unserer skalierbaren Supercomputing-Infrastruktur und der klassischen Transformer-Architektur führen wir die Leistung der Yi-Modelle hauptsächlich auf deren Datenqualität zurück, die aus unseren Bemühungen im Bereich der Datenverarbeitung resultiert. Für das Vortraining erstellen wir 3,1 Billionen Tokens von englischen und chinesischen Korpora unter Verwendung einer kaskadierten Daten-Deduplizierung und Qualitätsfilterungspipeline. Für die Feinabstimmung verfeinern wir einen kleinen Datensatz (weniger als 10K) von Anweisungen über mehrere Iterationen, sodass jede einzelne Instanz direkt von unseren Maschinenlerningenieuren überprüft wurde. Für Sprache-Vision kombinieren wir das Chat-Sprachmodell mit einem Vision-Transformer-Encoder und trainieren das Modell, um visuelle Darstellungen mit dem semantischen Raum des Sprachmodells abzustimmen. Wir erweitern die Kontextlänge auf 200K durch leichtgewichtiges kontinuierliches Vortraining und zeigen eine starke Nadel-im-Heuhaufen-Auffindungsleistung. Wir zeigen, dass die Erweiterung der Tiefe des vortrainierten Checkpoints durch kontinuierliches Vortraining die Leistung weiter verbessert. Wir sind der Meinung, dass bei unseren aktuellen Ergebnissen die Skalierung der Modellparameter unter Verwendung sorgfältig optimierter Daten zu noch stärkeren Spitzenmodellen führen wird.

English

We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.

Yi: Offene Grundlagenmodelle von 01.AI

Yi: Open Foundation Models by 01.AI

Zusammenfassung

Support