MMKE-Bench: Ein multimodaler Bearbeitungsbenchmark für vielfältiges visuelles Wissen.

MMKE-Bench: A Multimodal Editing Benchmark for Diverse Visual Knowledge

February 27, 2025

Autoren: Yuntao Du, Kailin Jiang, Zhi Gao, Chenrui Shi, Zilong Zheng, Siyuan Qi, Qing Li

cs.AI

Zusammenfassung

Wissensbearbeitungstechniken haben sich als wesentliche Werkzeuge für die Aktualisierung des faktischen Wissens großer Sprachmodelle (LLMs) und multimodaler Modelle (LMMs) etabliert, die es ermöglichen, veraltete oder ungenaue Informationen zu korrigieren, ohne von Grund auf neu zu trainieren. Allerdings konzentrieren sich bestehende Benchmarks für multimodale Wissensbearbeitung hauptsächlich auf auf der Entitätsebene dargestelltes Wissen in Form einfacher Triplets, was die Komplexität von realen multimodalen Informationen nicht erfasst. Um dieses Problem zu lösen, stellen wir MMKE-Bench vor, einen umfassenden MultiModal Knowledge Editing Benchmark, der entworfen wurde, um die Fähigkeit von LMMs zu bewerten, vielfältiges visuelles Wissen in realen Szenarien zu bearbeiten. MMKE-Bench begegnet diesen Einschränkungen, indem es drei Arten von Bearbeitungsaufgaben integriert: visuelle Entitätsbearbeitung, visuelle semantische Bearbeitung und benutzerspezifische Bearbeitung. Darüber hinaus verwendet MMKE-Bench freie natürliche Sprache zur Darstellung und Bearbeitung von Wissen, was ein flexibleres und effektiveres Format bietet. Der Benchmark besteht aus 2.940 Wissensstücken und 8.363 Bildern in 33 breiten Kategorien, wobei Evaluierungsfragen automatisch generiert und von Menschen überprüft werden. Wir bewerten fünf modernste Wissensbearbeitungsmethoden auf drei prominenten LMMs und zeigen auf, dass keine Methode in allen Kriterien herausragt und dass visuelle und benutzerspezifische Bearbeitungen besonders herausfordernd sind. MMKE-Bench setzt einen neuen Standard zur Bewertung der Robustheit von multimodalen Wissensbearbeitungstechniken und treibt den Fortschritt in diesem sich schnell entwickelnden Bereich voran.

English

Knowledge editing techniques have emerged as essential tools for updating the factual knowledge of large language models (LLMs) and multimodal models (LMMs), allowing them to correct outdated or inaccurate information without retraining from scratch. However, existing benchmarks for multimodal knowledge editing primarily focus on entity-level knowledge represented as simple triplets, which fail to capture the complexity of real-world multimodal information. To address this issue, we introduce MMKE-Bench, a comprehensive MultiModal Knowledge Editing Benchmark, designed to evaluate the ability of LMMs to edit diverse visual knowledge in real-world scenarios. MMKE-Bench addresses these limitations by incorporating three types of editing tasks: visual entity editing, visual semantic editing, and user-specific editing. Besides, MMKE-Bench uses free-form natural language to represent and edit knowledge, offering a more flexible and effective format. The benchmark consists of 2,940 pieces of knowledge and 8,363 images across 33 broad categories, with evaluation questions automatically generated and human-verified. We assess five state-of-the-art knowledge editing methods on three prominent LMMs, revealing that no method excels across all criteria, and that visual and user-specific edits are particularly challenging. MMKE-Bench sets a new standard for evaluating the robustness of multimodal knowledge editing techniques, driving progress in this rapidly evolving field.