DLEBench : Évaluation de la capacité d'édition d'objets à petite échelle pour les modèles d'édition d'images basés sur des instructions
DLEBench: Evaluating Small-scale Object Editing Ability for Instruction-based Image Editing Model
February 27, 2026
Auteurs: Shibo Hong, Boxian Ai, Jun Kuang, Wei Wang, FengJiao Chen, Zhongyuan Peng, Chenhao Huang, Yixin Cao
cs.AI
Résumé
Des progrès significatifs ont été réalisés dans le domaine des modèles d'édition d'images basés sur des instructions (IIEMs). Cependant, bien que ces modèles démontrent une adhésion plausible aux instructions et de solides capacités de raisonnement sur les benchmarks actuels, leur aptitude à éditer de petits objets reste peu explorée, malgré son importance pour l'édition locale précise et l'affinement des détails dans les images réelles et générées. Dans cet article, nous présentons DeepLookEditBench (DLEBench), le premier benchmark dédié à l'évaluation des capacités des IIEMs en matière d'édition d'objets à petite échelle. Plus précisément, nous construisons un banc d'essai difficile comprenant 1889 échantillons couvrant sept types d'instructions. Dans ces échantillons, les objets cibles n'occupent que 1% à 10% de la surface de l'image, couvrant des scénarios complexes tels que l'occlusion partielle et l'édition multi-objets. Pour garantir une évaluation robuste sur ce benchmark, nous proposons un protocole d'évaluation avec des grilles de notation affinées afin de minimiser la subjectivité et l'ambiguïté selon deux critères : le Suivi de l'Instruction et la Cohérence Visuelle. Ce protocole introduit également un cadre d'évaluation à double mode (Modes Piloté par l'Outil et Guidé par l'Oracle) pour résoudre le décalage entre l'évaluation par LMM-comme-Juge et les jugements humains sur DLEBench. Les résultats empiriques sur 10 IIEMs révèlent des écarts de performance significatifs dans l'édition d'objets à petite échelle, soulignant la nécessité de benchmarks spécialisés pour faire progresser cette capacité.
English
Significant progress has been made in the field of Instruction-based Image Editing Models (IIEMs). However, while these models demonstrate plausible adherence to instructions and strong reasoning ability on current benchmarks, their ability to edit small objects remains underexplored, despite its importance for precise local editing and refining details in both real and generated images. In this paper, we introduce DeepLookEditBench (DLEBench), the first benchmark dedicated to assessing the abilities of IIEMs in editing small-scale objects. Specifically, we construct a challenging testbed comprising 1889 samples across seven instruction types. In these samples, target objects occupy only 1%-10% of the image area, covering complex scenarios such as partial occlusion and multi-object editing. To ensure robust evaluation on this benchmark, we propose an evaluation protocol with refined score rubrics to minimize subjectivity and ambiguity in two criteria: Instruction Following and Visual Consistency. This protocol also introduces a dual-mode evaluation framework (Tool-driven and Oracle-guided Modes) addressing the misalignment between LMM-as-a-Judge and human judgements on DLEBench. Empirical results on 10 IIEMs reveal significant performance gaps in small-scale object editing, highlighting the need for specialized benchmarks to advance this ability.