MMKE-Bench: Un Banco de Pruebas de Edición Multimodal para Conocimiento Visual Diverso

MMKE-Bench: A Multimodal Editing Benchmark for Diverse Visual Knowledge

February 27, 2025

Autores: Yuntao Du, Kailin Jiang, Zhi Gao, Chenrui Shi, Zilong Zheng, Siyuan Qi, Qing Li

cs.AI

Resumen

Las técnicas de edición de conocimiento han surgido como herramientas esenciales para actualizar el conocimiento factual de grandes modelos de lenguaje (LLMs) y modelos multimodales (LMMs), permitiéndoles corregir información desactualizada o inexacta sin necesidad de volver a entrenar desde cero. Sin embargo, los benchmarks existentes para la edición de conocimiento multimodal se centran principalmente en el conocimiento a nivel de entidad representado como tripletes simples, lo cual no logra capturar la complejidad de la información multimodal del mundo real. Para abordar este problema, presentamos MMKE-Bench, un completo Benchmark de Edición de Conocimiento MultiModal, diseñado para evaluar la capacidad de los LMMs para editar diversos conocimientos visuales en escenarios del mundo real. MMKE-Bench aborda estas limitaciones al incorporar tres tipos de tareas de edición: edición de entidades visuales, edición semántica visual y edición específica del usuario. Además, MMKE-Bench utiliza lenguaje natural de forma libre para representar y editar conocimiento, ofreciendo un formato más flexible y efectivo. El benchmark consta de 2,940 piezas de conocimiento y 8,363 imágenes en 33 categorías amplias, con preguntas de evaluación generadas automáticamente y verificadas por humanos. Evaluamos cinco métodos de edición de conocimiento de última generación en tres destacados LMMs, revelando que ningún método sobresale en todos los criterios, y que las ediciones visuales y específicas del usuario son particularmente desafiantes. MMKE-Bench establece un nuevo estándar para evaluar la robustez de las técnicas de edición de conocimiento multimodal, impulsando el progreso en este campo en constante evolución.

English

Knowledge editing techniques have emerged as essential tools for updating the factual knowledge of large language models (LLMs) and multimodal models (LMMs), allowing them to correct outdated or inaccurate information without retraining from scratch. However, existing benchmarks for multimodal knowledge editing primarily focus on entity-level knowledge represented as simple triplets, which fail to capture the complexity of real-world multimodal information. To address this issue, we introduce MMKE-Bench, a comprehensive MultiModal Knowledge Editing Benchmark, designed to evaluate the ability of LMMs to edit diverse visual knowledge in real-world scenarios. MMKE-Bench addresses these limitations by incorporating three types of editing tasks: visual entity editing, visual semantic editing, and user-specific editing. Besides, MMKE-Bench uses free-form natural language to represent and edit knowledge, offering a more flexible and effective format. The benchmark consists of 2,940 pieces of knowledge and 8,363 images across 33 broad categories, with evaluation questions automatically generated and human-verified. We assess five state-of-the-art knowledge editing methods on three prominent LMMs, revealing that no method excels across all criteria, and that visual and user-specific edits are particularly challenging. MMKE-Bench sets a new standard for evaluating the robustness of multimodal knowledge editing techniques, driving progress in this rapidly evolving field.