MINED: Onderzoeken en Bijwerken met Multimodale Tijdgevoelige Kennis voor Grote Multimodale Modellen

MINED: Probing and Updating with Multimodal Time-Sensitive Knowledge for Large Multimodal Models

October 22, 2025

Auteurs: Kailin Jiang, Ning Jiang, Yuchen Ren, Yuchen Li, Yifan Gao, Jinhe Bi, Yunpu Ma, Qingqing Liu, Xianhao Wang, Yifan Jia, Hongbo Jiang, Yaocong Hu, Bin Li, Lei Liu, Yuntao Du

cs.AI

Samenvatting

Grote Multimodale Modellen (LMMs) coderen rijke feitelijke kennis via cross-modale voorafgaande training, maar hun statische representaties hebben moeite om een nauwkeurig begrip van tijdgevoelige feitelijke kennis te behouden. Bestaande benchmarks blijven beperkt door statische ontwerpen, waardoor ze onvoldoende in staat zijn om het vermogen van LMMs om tijdgevoelige kennis te begrijpen te evalueren. Om dit gat te dichten, stellen we MINED voor, een uitgebreide benchmark die temporeel bewustzijn evalueert langs 6 belangrijke dimensies en 11 uitdagende taken: cognitie, bewustzijn, betrouwbaarheid, begrip, redeneren en robuustheid. MINED is geconstrueerd vanuit Wikipedia door twee professionele annotators en bevat 2.104 tijdgevoelige kennismonsters die zes kennissoorten omvatten. Evaluatie van 15 veelgebruikte LMMs op MINED toont aan dat Gemini-2.5-Pro de hoogste gemiddelde CEM-score van 63.07 behaalt, terwijl de meeste open-source LMMs nog steeds een gebrek aan tijd-begripvermogen vertonen. Tegelijkertijd presteren LMMs het beste op organisatiekennis, terwijl hun prestaties het zwakst zijn op sport. Om deze uitdagingen aan te pakken, onderzoeken we de haalbaarheid van het bijwerken van tijdgevoelige kennis in LMMs via kennisbewerkingsmethoden en observeren we dat LMMs effectief kennis kunnen bijwerken via kennisbewerkingsmethoden in enkele bewerkingsscenario's.

English

Large Multimodal Models (LMMs) encode rich factual knowledge via cross-modal pre-training, yet their static representations struggle to maintain an accurate understanding of time-sensitive factual knowledge. Existing benchmarks remain constrained by static designs, inadequately evaluating LMMs' ability to understand time-sensitive knowledge. To address this gap, we propose MINED, a comprehensive benchmark that evaluates temporal awareness along 6 key dimensions and 11 challenging tasks: cognition, awareness, trustworthiness, understanding, reasoning, and robustness. MINED is constructed from Wikipedia by two professional annotators, containing 2,104 time-sensitive knowledge samples spanning six knowledge types. Evaluating 15 widely used LMMs on MINED shows that Gemini-2.5-Pro achieves the highest average CEM score of 63.07, while most open-source LMMs still lack time understanding ability. Meanwhile, LMMs perform best on organization knowledge, whereas their performance is weakest on sport. To address these challenges, we investigate the feasibility of updating time-sensitive knowledge in LMMs through knowledge editing methods and observe that LMMs can effectively update knowledge via knowledge editing methods in single editing scenarios.