MMKE-Bench：多様な視覚知識のためのマルチモーダル編集ベンチマーク

MMKE-Bench: A Multimodal Editing Benchmark for Diverse Visual Knowledge

February 27, 2025

著者: Yuntao Du, Kailin Jiang, Zhi Gao, Chenrui Shi, Zilong Zheng, Siyuan Qi, Qing Li

cs.AI

要旨

知識編集技術は、大規模言語モデル（LLM）や多様モダリティモデル（LMM）の事実知識を更新するための重要なツールとして登場し、これらのモデルが再訓練なしで古い情報や不正確な情報を修正できるようにしています。ただし、既存の多様モダリティ知識編集のベンチマークは、主に単純な三つ組として表されるエンティティレベルの知識に焦点を当てており、実世界の多様モダリティ情報の複雑さを捉えきれていません。この問題に対処するために、我々はMMKE-Benchという包括的なマルチモーダル知識編集ベンチマークを導入し、LMMが実世界のシナリオで多様な視覚知識を編集する能力を評価するよう設計しました。MMKE-Benchは、視覚エンティティ編集、視覚意味編集、ユーザー固有の編集という3種類の編集タスクを組み込むことで、これらの制限に対処しています。さらに、MMKE-Benchは、知識を表現および編集するために自由形式の自然言語を使用し、より柔軟かつ効果的な形式を提供しています。このベンチマークには、33の広範なカテゴリにまたがる2,940個の知識と8,363枚の画像が含まれており、自動生成された評価問題と人間による検証が行われています。我々は、3つの主要なLMMにおいて5つの最先端の知識編集方法を評価し、どの方法もすべての基準で優れているわけではなく、視覚的およびユーザー固有の編集が特に難しいことが明らかになりました。MMKE-Benchは、マルチモーダル知識編集技術の堅牢性を評価する新たな基準を設定し、この急速に進化する分野の進歩を促進しています。

English

Knowledge editing techniques have emerged as essential tools for updating the factual knowledge of large language models (LLMs) and multimodal models (LMMs), allowing them to correct outdated or inaccurate information without retraining from scratch. However, existing benchmarks for multimodal knowledge editing primarily focus on entity-level knowledge represented as simple triplets, which fail to capture the complexity of real-world multimodal information. To address this issue, we introduce MMKE-Bench, a comprehensive MultiModal Knowledge Editing Benchmark, designed to evaluate the ability of LMMs to edit diverse visual knowledge in real-world scenarios. MMKE-Bench addresses these limitations by incorporating three types of editing tasks: visual entity editing, visual semantic editing, and user-specific editing. Besides, MMKE-Bench uses free-form natural language to represent and edit knowledge, offering a more flexible and effective format. The benchmark consists of 2,940 pieces of knowledge and 8,363 images across 33 broad categories, with evaluation questions automatically generated and human-verified. We assess five state-of-the-art knowledge editing methods on three prominent LMMs, revealing that no method excels across all criteria, and that visual and user-specific edits are particularly challenging. MMKE-Bench sets a new standard for evaluating the robustness of multimodal knowledge editing techniques, driving progress in this rapidly evolving field.