WiseEdit: 認知性と創造性を考慮した画像編集のベンチマーキング
WiseEdit: Benchmarking Cognition- and Creativity-Informed Image Editing
November 29, 2025
著者: Kaihang Pan, Weile Chen, Haiyi Qiu, Qifan Yu, Wendong Bu, Zehan Wang, Yun Zhu, Juncheng Li, Siliang Tang
cs.AI
要旨
近年、画像編集モデルは次世代の知的能力を誇り、認知と創造性に基づいた画像編集を促進しています。しかし、既存のベンチマークは評価範囲が狭すぎるため、これらの高度な能力を包括的に評価できていません。この問題に対処するため、我々はWiseEditを提案します。これは、深いタスクの深さと広範な知識の幅を特徴とする、認知と創造性に基づいた画像編集の包括的評価のための知識集約型ベンチマークです。
人間の認知的創造過程との類推から、WiseEditは画像編集を3つの連鎖的ステップ、すなわち「認識」「解釈」「想像」に分解し、各ステップは特定の段階でモデルが完了するのが困難なタスクに対応しています。また、これら3つのステップのいずれも容易に完了できない複雑なタスクも含みます。さらに、WiseEditは3つの基本的な知識タイプ、すなわち「宣言的知識」「手続き的知識」「メタ認知的知識」を組み込んでいます。
最終的に、WiseEditは1,220のテストケースから構成され、最先端の画像編集モデルが知識ベースの認知的推論と創造的構成能力において抱える限界を客観的に明らかにします。ベンチマーク、評価コード、および各モデルで生成された画像はまもなく公開される予定です。プロジェクトページ: https://qnancy.github.io/wiseedit_project_page/
English
Recent image editing models boast next-level intelligent capabilities, facilitating cognition- and creativity-informed image editing. Yet, existing benchmarks provide too narrow a scope for evaluation, failing to holistically assess these advanced abilities. To address this, we introduce WiseEdit, a knowledge-intensive benchmark for comprehensive evaluation of cognition- and creativity-informed image editing, featuring deep task depth and broad knowledge breadth. Drawing an analogy to human cognitive creation, WiseEdit decomposes image editing into three cascaded steps, i.e., Awareness, Interpretation, and Imagination, each corresponding to a task that poses a challenge for models to complete at the specific step. It also encompasses complex tasks, where none of the three steps can be finished easily. Furthermore, WiseEdit incorporates three fundamental types of knowledge: Declarative, Procedural, and Metacognitive knowledge. Ultimately, WiseEdit comprises 1,220 test cases, objectively revealing the limitations of SoTA image editing models in knowledge-based cognitive reasoning and creative composition capabilities. The benchmark, evaluation code, and the generated images of each model will be made publicly available soon. Project Page: https://qnancy.github.io/wiseedit_project_page/.