SPHINX-X: Skalierung von Daten und Parametern für eine Familie multimodaler großer Sprachmodelle

SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models

February 8, 2024

Autoren: Peng Gao, Renrui Zhang, Chris Liu, Longtian Qiu, Siyuan Huang, Weifeng Lin, Shitian Zhao, Shijie Geng, Ziyi Lin, Peng Jin, Kaipeng Zhang, Wenqi Shao, Chao Xu, Conghui He, Junjun He, Hao Shao, Pan Lu, Hongsheng Li, Yu Qiao

cs.AI

Zusammenfassung

Wir präsentieren SPHINX-X, eine umfangreiche Serie von Multimodalität Large Language Models (MLLMs), die auf SPHINX basiert. Um die Architektur und Trainings effizienz zu verbessern, modifizieren wir das SPHINX-Framework, indem wir redundante visuelle Encoder entfernen, vollständig gepolsterte Teilbilder mit Skip-Tokens umgehen und das mehrstufige Training in ein einstufiges All-in-One-Paradigma vereinfachen. Um das Potenzial von MLLMs voll auszuschöpfen, stellen wir einen umfassenden multi-domänen und multimodalen Datensatz zusammen, der öffentlich verfügbare Ressourcen in den Bereichen Sprache, Vision und Vision-Sprache-Aufgaben abdeckt. Wir erweitern diese Sammlung durch unsere kuratierten OCR-intensiven und Set-of-Mark-Datensätze, wodurch die Vielfalt und Allgemeingültigkeit erhöht wird. Durch das Training über verschiedene Basis-LLMs, darunter TinyLlama1.1B, InternLM2-7B, LLaMA2-13B und Mixtral8x7B, erhalten wir eine Reihe von MLLMs, die sich in Parametergröße und mehrsprachigen Fähigkeiten unterscheiden. Umfassende Benchmarking-Ergebnisse zeigen eine starke Korrelation zwischen der multimodalen Leistung und den Daten- und Parameterskalen. Code und Modelle sind unter https://github.com/Alpha-VLLM/LLaMA2-Accessory verfügbar.

English

We propose SPHINX-X, an extensive Multimodality Large Language Model (MLLM) series developed upon SPHINX. To improve the architecture and training efficiency, we modify the SPHINX framework by removing redundant visual encoders, bypassing fully-padded sub-images with skip tokens, and simplifying multi-stage training into a one-stage all-in-one paradigm. To fully unleash the potential of MLLMs, we assemble a comprehensive multi-domain and multimodal dataset covering publicly available resources in language, vision, and vision-language tasks. We further enrich this collection with our curated OCR intensive and Set-of-Mark datasets, extending the diversity and generality. By training over different base LLMs including TinyLlama1.1B, InternLM2-7B, LLaMA2-13B, and Mixtral8x7B, we obtain a spectrum of MLLMs that vary in parameter size and multilingual capabilities. Comprehensive benchmarking reveals a strong correlation between the multi-modal performance with the data and parameter scales. Code and models are released at https://github.com/Alpha-VLLM/LLaMA2-Accessory