DLEBench: Evaluatie van het vermogen tot kleinschalige objectbewerking voor op instructies gebaseerde beeldbewerkingsmodellen
DLEBench: Evaluating Small-scale Object Editing Ability for Instruction-based Image Editing Model
February 27, 2026
Auteurs: Shibo Hong, Boxian Ai, Jun Kuang, Wei Wang, FengJiao Chen, Zhongyuan Peng, Chenhao Huang, Yixin Cao
cs.AI
Samenvatting
Er is aanzienlijke vooruitgang geboekt op het gebied van instructiegestuurde beeldbewerkingsmodellen (IIEMs). Hoewel deze modellen op huidige benchmarks een plausibele naleving van instructies en sterke redeneervaardigheid tonen, blijft hun vermogen om kleine objecten te bewerken onderbelicht, ondanks het belang hiervan voor precieze lokale bewerking en het verfijnen van details in zowel echte als gegenereerde afbeeldingen. In dit artikel introduceren we DeepLookEditBench (DLEBench), de eerste benchmark die specifiek is ontworpen om de vaardigheden van IIEMs bij het bewerken van kleinschalige objecten te beoordelen. Concreet construeren we een uitdagende testomgeving bestaande uit 1889 samples verdeeld over zeven instructietypes. In deze samples beslaan de doelobjecten slechts 1%-10% van het beeldareaal, waarbij complexe scenario's zoals gedeeltelijke occlusie en bewerking van meerdere objecten worden afgedekt. Om een robuuste evaluatie op deze benchmark te waarborgen, stellen we een evaluatieprotocol voor met verfijnde beoordelingsrichtlijnen om subjectiviteit en ambiguïteit te minimaliseren bij twee criteria: Instructievolging en Visuele Consistentie. Dit protocol introduceert tevens een dual-mode evaluatieraamwerk (Tool-driven en Oracle-guided Modes) dat de discrepantie aanpakt tussen LMM-as-a-Judge en menselijke oordelen op DLEBench. Empirische resultaten van 10 IIEMs onthullen significante prestatiekloffen in kleinschalige objectbewerking, wat de behoefte aan gespecialiseerde benchmarks onderstreept om deze vaardigheid verder te ontwikkelen.
English
Significant progress has been made in the field of Instruction-based Image Editing Models (IIEMs). However, while these models demonstrate plausible adherence to instructions and strong reasoning ability on current benchmarks, their ability to edit small objects remains underexplored, despite its importance for precise local editing and refining details in both real and generated images. In this paper, we introduce DeepLookEditBench (DLEBench), the first benchmark dedicated to assessing the abilities of IIEMs in editing small-scale objects. Specifically, we construct a challenging testbed comprising 1889 samples across seven instruction types. In these samples, target objects occupy only 1%-10% of the image area, covering complex scenarios such as partial occlusion and multi-object editing. To ensure robust evaluation on this benchmark, we propose an evaluation protocol with refined score rubrics to minimize subjectivity and ambiguity in two criteria: Instruction Following and Visual Consistency. This protocol also introduces a dual-mode evaluation framework (Tool-driven and Oracle-guided Modes) addressing the misalignment between LMM-as-a-Judge and human judgements on DLEBench. Empirical results on 10 IIEMs reveal significant performance gaps in small-scale object editing, highlighting the need for specialized benchmarks to advance this ability.