WiseEdit: Avaliação Comparativa da Edição de Imagens Informada por Cognição e Criatividade
WiseEdit: Benchmarking Cognition- and Creativity-Informed Image Editing
November 29, 2025
Autores: Kaihang Pan, Weile Chen, Haiyi Qiu, Qifan Yu, Wendong Bu, Zehan Wang, Yun Zhu, Juncheng Li, Siliang Tang
cs.AI
Resumo
Os modelos recentes de edição de imagens possuem capacidades inteligentes de última geração, facilitando a edição de imagens baseada em cognição e criatividade. No entanto, os benchmarks existentes oferecem um escopo de avaliação muito limitado, falhando em avaliar holisticamente essas habilidades avançadas. Para resolver isso, apresentamos o WiseEdit, um benchmark de conhecimento intensivo para avaliação abrangente da edição de imagens informada por cognição e criatividade, caracterizado por profundidade de tarefa e ampla abrangência de conhecimento. Fazendo uma analogia com a criação cognitiva humana, o WiseEdit decompõe a edição de imagens em três etapas em cascata: Percepção, Interpretação e Imaginação, cada uma correspondendo a uma tarefa que representa um desafio para os modelos completarem na etapa específica. Ele também abrange tarefas complexas, onde nenhuma das três etapas pode ser concluída facilmente. Além disso, o WiseEdit incorpora três tipos fundamentais de conhecimento: Conhecimento Declarativo, Procedimental e Metacognitivo. Por fim, o WiseEdit compreende 1.220 casos de teste, revelando objetivamente as limitações dos modelos de edição de imagens state-of-the-art em capacidades de raciocínio cognitivo baseado em conhecimento e composição criativa. O benchmark, o código de avaliação e as imagens geradas por cada modelo serão disponibilizados publicamente em breve. Página do Projeto: https://qnancy.github.io/wiseedit_project_page/.
English
Recent image editing models boast next-level intelligent capabilities, facilitating cognition- and creativity-informed image editing. Yet, existing benchmarks provide too narrow a scope for evaluation, failing to holistically assess these advanced abilities. To address this, we introduce WiseEdit, a knowledge-intensive benchmark for comprehensive evaluation of cognition- and creativity-informed image editing, featuring deep task depth and broad knowledge breadth. Drawing an analogy to human cognitive creation, WiseEdit decomposes image editing into three cascaded steps, i.e., Awareness, Interpretation, and Imagination, each corresponding to a task that poses a challenge for models to complete at the specific step. It also encompasses complex tasks, where none of the three steps can be finished easily. Furthermore, WiseEdit incorporates three fundamental types of knowledge: Declarative, Procedural, and Metacognitive knowledge. Ultimately, WiseEdit comprises 1,220 test cases, objectively revealing the limitations of SoTA image editing models in knowledge-based cognitive reasoning and creative composition capabilities. The benchmark, evaluation code, and the generated images of each model will be made publicly available soon. Project Page: https://qnancy.github.io/wiseedit_project_page/.