Youku-mPLUG: Ein groß angelegter chinesischer Video-Sprache-Datensatz mit 10 Millionen Einträgen für Pre-Training und Benchmarking

Youku-mPLUG: A 10 Million Large-scale Chinese Video-Language Dataset for Pre-training and Benchmarks

June 7, 2023

Autoren: Haiyang Xu, Qinghao Ye, Xuan Wu, Ming Yan, Yuan Miao, Jiabo Ye, Guohai Xu, Anwen Hu, Yaya Shi, Guangwei Xu, Chenliang Li, Qi Qian, Maofei Que, Ji Zhang, Xiao Zeng, Fei Huang

cs.AI

Zusammenfassung

Um die Entwicklung von Vision-Language Pre-training (VLP) und multimodalen Large Language Models (LLM) in der chinesischen Gemeinschaft zu fördern, veröffentlichen wir zunächst das größte öffentliche chinesische hochwertige Video-Sprache-Datensatz namens Youku-mPLUG. Dieser Datensatz wurde von Youku, einer bekannten chinesischen Video-Sharing-Website, unter strengen Kriterien hinsichtlich Sicherheit, Vielfalt und Qualität gesammelt. Youku-mPLUG enthält 10 Millionen chinesische Video-Text-Paare, die aus 400 Millionen Rohvideos über 45 verschiedene Kategorien hinweg für das groß angelegte Pre-training gefiltert wurden. Darüber hinaus haben wir sorgfältig die größten menschlich annotierten chinesischen Benchmarks erstellt, die drei beliebte Video-Sprache-Aufgaben abdecken: Cross-Modal Retrieval, Video Captioning und Video-Kategorie-Klassifikation. Youku-mPLUG ermöglicht es Forschern, tiefergehende multimodale Forschung zu betreiben und in Zukunft bessere Anwendungen zu entwickeln. Zusätzlich veröffentlichen wir die beliebten Video-Sprache Pre-training-Modelle ALPRO und mPLUG-2 sowie unser vorgeschlagenes modularisiertes Decoder-only-Modell mPLUG-video, das auf Youku-mPLUG vortrainiert wurde. Experimente zeigen, dass Modelle, die auf Youku-mPLUG vortrainiert wurden, eine Verbesserung von bis zu 23,1 % in der Video-Kategorie-Klassifikation erzielen. Außerdem erreicht mPLUG-video neue state-of-the-art Ergebnisse auf diesen Benchmarks mit einer Top-1-Genauigkeit von 80,5 % in der Video-Kategorie-Klassifikation und einem CIDEr-Score von 68,9 im Video Captioning. Schließlich skalieren wir mPLUG-video basierend auf dem eingefrorenen Bloomz mit nur 1,7 % trainierbaren Parametern als chinesisches multimodales LLM und demonstrieren beeindruckende Fähigkeiten in der Instruktions- und Videoverständnis. Das Zero-Shot-Instruktionsverständnis-Experiment zeigt, dass das Vortraining mit Youku-mPLUG die Fähigkeit verbessern kann, Gesamt- und Detail-Semantik zu verstehen, Szenentext zu erkennen und Open-Domain-Wissen zu nutzen.

English

To promote the development of Vision-Language Pre-training (VLP) and multimodal Large Language Model (LLM) in the Chinese community, we firstly release the largest public Chinese high-quality video-language dataset named Youku-mPLUG, which is collected from Youku, a well-known Chinese video-sharing website, with strict criteria of safety, diversity, and quality. Youku-mPLUG contains 10 million Chinese video-text pairs filtered from 400 million raw videos across a wide range of 45 diverse categories for large-scale pre-training. In addition, to facilitate a comprehensive evaluation of video-language models, we carefully build the largest human-annotated Chinese benchmarks covering three popular video-language tasks of cross-modal retrieval, video captioning, and video category classification. Youku-mPLUG can enable researchers to conduct more in-depth multimodal research and develop better applications in the future. Furthermore, we release popular video-language pre-training models, ALPRO and mPLUG-2, and our proposed modularized decoder-only model mPLUG-video pre-trained on Youku-mPLUG. Experiments show that models pre-trained on Youku-mPLUG gain up to 23.1% improvement in video category classification. Besides, mPLUG-video achieves a new state-of-the-art result on these benchmarks with 80.5% top-1 accuracy in video category classification and 68.9 CIDEr score in video captioning, respectively. Finally, we scale up mPLUG-video based on the frozen Bloomz with only 1.7% trainable parameters as Chinese multimodal LLM, and demonstrate impressive instruction and video understanding ability. The zero-shot instruction understanding experiment indicates that pretraining with Youku-mPLUG can enhance the ability to comprehend overall and detailed visual semantics, recognize scene text, and leverage open-domain knowledge.