MMKE-Bench: un benchmark di editing multimodale per una conoscenza visuale diversificata.

MMKE-Bench: A Multimodal Editing Benchmark for Diverse Visual Knowledge

February 27, 2025

Autori: Yuntao Du, Kailin Jiang, Zhi Gao, Chenrui Shi, Zilong Zheng, Siyuan Qi, Qing Li

cs.AI

Abstract

Le tecniche di modifica della conoscenza sono emerse come strumenti essenziali per aggiornare la conoscenza fattuale dei grandi modelli linguistici (LLM) e dei modelli multimodali (LMM), consentendo loro di correggere informazioni obsolete o inaccurate senza dover essere addestrati da zero. Tuttavia, i benchmark esistenti per la modifica della conoscenza multimodale si concentrano principalmente sulla conoscenza a livello di entità rappresentata come semplici triplette, che non riescono a catturare la complessità delle informazioni multimodali del mondo reale. Per affrontare questo problema, presentiamo MMKE-Bench, un completo Benchmark per la Modifica della Conoscenza MultiModale, progettato per valutare la capacità dei LMM di modificare varie conoscenze visive in scenari del mondo reale. MMKE-Bench affronta queste limitazioni incorporando tre tipi di compiti di modifica: modifica dell'entità visiva, modifica semantica visiva e modifica specifica dell'utente. Inoltre, MMKE-Bench utilizza linguaggio naturale libero per rappresentare e modificare la conoscenza, offrendo un formato più flessibile ed efficace. Il benchmark è composto da 2.940 pezzi di conoscenza e 8.363 immagini distribuite su 33 ampie categorie, con domande di valutazione generate automaticamente e verificate dall'essere umano. Valutiamo cinque metodi di modifica della conoscenza all'avanguardia su tre prominenti LMM, rivelando che nessun metodo eccelle su tutti i criteri e che le modifiche visive e specifiche dell'utente sono particolarmente impegnative. MMKE-Bench stabilisce un nuovo standard per valutare la robustezza delle tecniche di modifica della conoscenza multimodale, promuovendo il progresso in questo campo in rapida evoluzione.

English

Knowledge editing techniques have emerged as essential tools for updating the factual knowledge of large language models (LLMs) and multimodal models (LMMs), allowing them to correct outdated or inaccurate information without retraining from scratch. However, existing benchmarks for multimodal knowledge editing primarily focus on entity-level knowledge represented as simple triplets, which fail to capture the complexity of real-world multimodal information. To address this issue, we introduce MMKE-Bench, a comprehensive MultiModal Knowledge Editing Benchmark, designed to evaluate the ability of LMMs to edit diverse visual knowledge in real-world scenarios. MMKE-Bench addresses these limitations by incorporating three types of editing tasks: visual entity editing, visual semantic editing, and user-specific editing. Besides, MMKE-Bench uses free-form natural language to represent and edit knowledge, offering a more flexible and effective format. The benchmark consists of 2,940 pieces of knowledge and 8,363 images across 33 broad categories, with evaluation questions automatically generated and human-verified. We assess five state-of-the-art knowledge editing methods on three prominent LMMs, revealing that no method excels across all criteria, and that visual and user-specific edits are particularly challenging. MMKE-Bench sets a new standard for evaluating the robustness of multimodal knowledge editing techniques, driving progress in this rapidly evolving field.