WiseEdit: Benchmarking für kognitions- und kreativitätsbasiertes Bildbearbeitung
WiseEdit: Benchmarking Cognition- and Creativity-Informed Image Editing
November 29, 2025
papers.authors: Kaihang Pan, Weile Chen, Haiyi Qiu, Qifan Yu, Wendong Bu, Zehan Wang, Yun Zhu, Juncheng Li, Siliang Tang
cs.AI
papers.abstract
Aktuelle Bildbearbeitungsmodelle verfügen über intelligente Fähigkeiten der nächsten Generation, die kognitions- und kreativitätsgestützte Bildbearbeitung ermöglichen. Bisherige Benchmarks bieten jedoch einen zu eingeschränkten Bewertungsrahmen und erfassen diese fortgeschrittenen Fähigkeiten nicht ganzheitlich. Um dieses Problem zu lösen, stellen wir WiseEdit vor, einen wissensintensiven Benchmark für die umfassende Bewertung kognitions- und kreativitätsgestützter Bildbearbeitung, der sich durch hohe Aufgabenkomplexität und breite Wissensabdeckung auszeichnet. In Anlehnung an die menschliche kognitive Schaffenskraft unterteilt WiseEdit die Bildbearbeitung in drei kaskadierte Schritte: Wahrnehmung, Interpretation und Imagination. Jeder Schritt entspricht einer Aufgabe, die für Modelle auf der jeweiligen Stufe eine Herausforderung darstellt. Zudem umfasst WiseEdit komplexe Aufgaben, bei denen keiner der drei Schritte einfach abgeschlossen werden kann. Darüber hinaus integriert WiseEdit drei grundlegende Wissensarten: deklaratives, prozedurales und metakognitives Wissen. Insgesamt umfasst WiseEdit 1.220 Testfälle, die objektiv die Grenzen modernster Bildbearbeitungsmodelle bei wissensbasiertem kognitivem Reasoning und kreativen Kompositionsfähigkeiten aufzeigen. Der Benchmark, der Evaluierungscode und die von jedem Modell generierten Bilder werden in Kürze öffentlich zugänglich gemacht. Projektseite: https://qnancy.github.io/wiseedit_project_page/.
English
Recent image editing models boast next-level intelligent capabilities, facilitating cognition- and creativity-informed image editing. Yet, existing benchmarks provide too narrow a scope for evaluation, failing to holistically assess these advanced abilities. To address this, we introduce WiseEdit, a knowledge-intensive benchmark for comprehensive evaluation of cognition- and creativity-informed image editing, featuring deep task depth and broad knowledge breadth. Drawing an analogy to human cognitive creation, WiseEdit decomposes image editing into three cascaded steps, i.e., Awareness, Interpretation, and Imagination, each corresponding to a task that poses a challenge for models to complete at the specific step. It also encompasses complex tasks, where none of the three steps can be finished easily. Furthermore, WiseEdit incorporates three fundamental types of knowledge: Declarative, Procedural, and Metacognitive knowledge. Ultimately, WiseEdit comprises 1,220 test cases, objectively revealing the limitations of SoTA image editing models in knowledge-based cognitive reasoning and creative composition capabilities. The benchmark, evaluation code, and the generated images of each model will be made publicly available soon. Project Page: https://qnancy.github.io/wiseedit_project_page/.