MMKE-Bench : Un banc d'essai d'édition multimodale pour une connaissance visuelle diversifiée.

MMKE-Bench: A Multimodal Editing Benchmark for Diverse Visual Knowledge

February 27, 2025

Auteurs: Yuntao Du, Kailin Jiang, Zhi Gao, Chenrui Shi, Zilong Zheng, Siyuan Qi, Qing Li

cs.AI

Résumé

Les techniques d'édition de connaissances ont émergé comme des outils essentiels pour mettre à jour les connaissances factuelles des grands modèles de langage (LLMs) et des modèles multimodaux (LMMs), leur permettant de corriger les informations obsolètes ou inexactes sans devoir être réentraînés à partir de zéro. Cependant, les référentiels existants pour l'édition de connaissances multimodales se concentrent principalement sur les connaissances au niveau des entités représentées sous forme de triplets simples, ce qui ne parvient pas à capturer la complexité des informations multimodales du monde réel. Pour résoudre ce problème, nous introduisons MMKE-Bench, un référentiel complet d'édition de connaissances multimodales, conçu pour évaluer la capacité des LMMs à éditer des connaissances visuelles diverses dans des scénarios du monde réel. MMKE-Bench aborde ces limitations en incorporant trois types de tâches d'édition : l'édition d'entités visuelles, l'édition sémantique visuelle et l'édition spécifique à l'utilisateur. De plus, MMKE-Bench utilise un langage naturel libre pour représenter et éditer les connaissances, offrant un format plus flexible et efficace. Le référentiel se compose de 2 940 éléments de connaissances et de 8 363 images réparties dans 33 catégories larges, avec des questions d'évaluation générées automatiquement et vérifiées par des humains. Nous évaluons cinq méthodes d'édition de connaissances de pointe sur trois LMMs de premier plan, révélant qu'aucune méthode n'excelle dans tous les critères, et que les éditions visuelles et spécifiques à l'utilisateur sont particulièrement difficiles. MMKE-Bench établit une nouvelle norme pour évaluer la robustesse des techniques d'édition de connaissances multimodales, favorisant les progrès dans ce domaine en évolution rapide.

English

Knowledge editing techniques have emerged as essential tools for updating the factual knowledge of large language models (LLMs) and multimodal models (LMMs), allowing them to correct outdated or inaccurate information without retraining from scratch. However, existing benchmarks for multimodal knowledge editing primarily focus on entity-level knowledge represented as simple triplets, which fail to capture the complexity of real-world multimodal information. To address this issue, we introduce MMKE-Bench, a comprehensive MultiModal Knowledge Editing Benchmark, designed to evaluate the ability of LMMs to edit diverse visual knowledge in real-world scenarios. MMKE-Bench addresses these limitations by incorporating three types of editing tasks: visual entity editing, visual semantic editing, and user-specific editing. Besides, MMKE-Bench uses free-form natural language to represent and edit knowledge, offering a more flexible and effective format. The benchmark consists of 2,940 pieces of knowledge and 8,363 images across 33 broad categories, with evaluation questions automatically generated and human-verified. We assess five state-of-the-art knowledge editing methods on three prominent LMMs, revealing that no method excels across all criteria, and that visual and user-specific edits are particularly challenging. MMKE-Bench sets a new standard for evaluating the robustness of multimodal knowledge editing techniques, driving progress in this rapidly evolving field.