Youku-mPLUG: Un conjunto de datos a gran escala de video-lenguaje en chino con 10 millones de ejemplos para preentrenamiento y evaluación comparativa

Youku-mPLUG: A 10 Million Large-scale Chinese Video-Language Dataset for Pre-training and Benchmarks

June 7, 2023

Autores: Haiyang Xu, Qinghao Ye, Xuan Wu, Ming Yan, Yuan Miao, Jiabo Ye, Guohai Xu, Anwen Hu, Yaya Shi, Guangwei Xu, Chenliang Li, Qi Qian, Maofei Que, Ji Zhang, Xiao Zeng, Fei Huang

cs.AI

Resumen

Para fomentar el desarrollo del preentrenamiento visión-lenguaje (VLP) y los modelos de lenguaje multimodal de gran escala (LLM) en la comunidad china, presentamos inicialmente el mayor conjunto de datos público de alta calidad en chino para video-lenguaje, denominado Youku-mPLUG. Este conjunto de datos se ha recopilado de Youku, un conocido sitio web chino de intercambio de videos, aplicando criterios estrictos de seguridad, diversidad y calidad. Youku-mPLUG contiene 10 millones de pares video-texto en chino, filtrados a partir de 400 millones de videos brutos que abarcan un amplio espectro de 45 categorías diversas, destinados a preentrenamiento a gran escala. Además, para facilitar una evaluación exhaustiva de los modelos video-lenguaje, hemos construido cuidadosamente los mayores benchmarks chinos anotados manualmente, que cubren tres tareas populares de video-lenguaje: recuperación multimodal, generación de subtítulos para videos y clasificación de categorías de video. Youku-mPLUG permite a los investigadores realizar estudios multimodales más profundos y desarrollar mejores aplicaciones en el futuro. Asimismo, publicamos modelos populares de preentrenamiento video-lenguaje, ALPRO y mPLUG-2, junto con nuestro modelo propuesto de decodificador modularizado mPLUG-video, preentrenado en Youku-mPLUG. Los experimentos muestran que los modelos preentrenados en Youku-mPLUG obtienen una mejora de hasta el 23.1% en la clasificación de categorías de video. Además, mPLUG-video alcanza un nuevo estado del arte en estos benchmarks, con un 80.5% de precisión top-1 en la clasificación de categorías de video y un puntaje CIDEr de 68.9 en la generación de subtítulos para videos, respectivamente. Finalmente, escalamos mPLUG-video basándonos en Bloomz congelado, utilizando solo el 1.7% de parámetros entrenables como LLM multimodal en chino, demostrando una impresionante capacidad de comprensión de instrucciones y videos. El experimento de comprensión de instrucciones en modo zero-shot indica que el preentrenamiento con Youku-mPLUG puede mejorar la capacidad de comprender semántica visual general y detallada, reconocer texto en escenas y aprovechar conocimiento de dominio abierto.

English

To promote the development of Vision-Language Pre-training (VLP) and multimodal Large Language Model (LLM) in the Chinese community, we firstly release the largest public Chinese high-quality video-language dataset named Youku-mPLUG, which is collected from Youku, a well-known Chinese video-sharing website, with strict criteria of safety, diversity, and quality. Youku-mPLUG contains 10 million Chinese video-text pairs filtered from 400 million raw videos across a wide range of 45 diverse categories for large-scale pre-training. In addition, to facilitate a comprehensive evaluation of video-language models, we carefully build the largest human-annotated Chinese benchmarks covering three popular video-language tasks of cross-modal retrieval, video captioning, and video category classification. Youku-mPLUG can enable researchers to conduct more in-depth multimodal research and develop better applications in the future. Furthermore, we release popular video-language pre-training models, ALPRO and mPLUG-2, and our proposed modularized decoder-only model mPLUG-video pre-trained on Youku-mPLUG. Experiments show that models pre-trained on Youku-mPLUG gain up to 23.1% improvement in video category classification. Besides, mPLUG-video achieves a new state-of-the-art result on these benchmarks with 80.5% top-1 accuracy in video category classification and 68.9 CIDEr score in video captioning, respectively. Finally, we scale up mPLUG-video based on the frozen Bloomz with only 1.7% trainable parameters as Chinese multimodal LLM, and demonstrate impressive instruction and video understanding ability. The zero-shot instruction understanding experiment indicates that pretraining with Youku-mPLUG can enhance the ability to comprehend overall and detailed visual semantics, recognize scene text, and leverage open-domain knowledge.