Video-MMMU: Valutazione dell'Acquisizione di Conoscenza da Video Professionali Multidisciplinari

Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos

January 23, 2025

Autori: Kairui Hu, Penghao Wu, Fanyi Pu, Wang Xiao, Yuanhan Zhang, Xiang Yue, Bo Li, Ziwei Liu

cs.AI

Abstract

Gli esseri umani acquisiscono conoscenza attraverso tre fasi cognitive: percepire informazioni, comprendere la conoscenza e adattare la conoscenza per risolvere problemi nuovi. I video fungono da efficace mezzo per questo processo di apprendimento, facilitando una progressione attraverso queste fasi cognitive. Tuttavia, i benchmark video esistenti non riescono a valutare sistematicamente le capacità di acquisizione di conoscenza nei Grandi Modelli Multimodali (LMM). Per affrontare questa lacuna, presentiamo Video-MMMU, un benchmark multi-modale, multi-disciplinare progettato per valutare la capacità dei LMM di acquisire e utilizzare conoscenze dai video. Video-MMMU presenta una raccolta curata di 300 video di livello esperto e 900 domande annotate da umani in sei discipline, valutando l'acquisizione di conoscenza attraverso coppie domanda-risposta allineate alle fasi: Percezione, Comprensione e Adattamento. Una metrica proposta per il guadagno di conoscenza, Δconoscenza, quantifica il miglioramento delle prestazioni dopo la visione del video. L'valutazione dei LMM rivela un forte calo delle prestazioni all'aumentare delle richieste cognitive e mette in evidenza un significativo divario tra l'acquisizione di conoscenza umana e del modello, sottolineando la necessità di metodi per potenziare la capacità dei LMM di apprendere e adattarsi dai video.

English

Humans acquire knowledge through three cognitive stages: perceiving information, comprehending knowledge, and adapting knowledge to solve novel problems. Videos serve as an effective medium for this learning process, facilitating a progression through these cognitive stages. However, existing video benchmarks fail to systematically evaluate the knowledge acquisition capabilities in Large Multimodal Models (LMMs). To address this gap, we introduce Video-MMMU, a multi-modal, multi-disciplinary benchmark designed to assess LMMs' ability to acquire and utilize knowledge from videos. Video-MMMU features a curated collection of 300 expert-level videos and 900 human-annotated questions across six disciplines, evaluating knowledge acquisition through stage-aligned question-answer pairs: Perception, Comprehension, and Adaptation. A proposed knowledge gain metric, {\Delta}knowledge, quantifies improvement in performance after video viewing. Evaluation of LMMs reveals a steep decline in performance as cognitive demands increase and highlights a significant gap between human and model knowledge acquisition, underscoring the need for methods to enhance LMMs' capability to learn and adapt from videos.