Hoe Volgen Modellen Visuele Instructies? VIBE: Een Systematische Benchmark voor Visuele Instructie-Gestuurd Beeldbewerking
How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing
February 2, 2026
Auteurs: Huanyu Zhang, Xuehai Bai, Chengzu Li, Chen Liang, Haochen Tian, Haodong Li, Ruichuan An, Yifan Zhang, Anna Korhonen, Zhang Zhang, Liang Wang, Tieniu Tan
cs.AI
Samenvatting
Recente generatieve modellen hebben opmerkelijke vooruitgang geboekt in beeldbewerking. Bestaande systemen en benchmarks blijven echter grotendeels tekstgestuurd. Menselijke communicatie is daarentegen van nature multimodaal, waarbij visuele instructies zoals schetsen ruimtelijke en structurele intentie efficiënt overbrengen. Om deze kloof te dichten, introduceren we VIBE, de Visuele Instructie Benchmark voor Beeldbewerking, met een drielaagse interactiehiërarchie die verwijzende verankering, morfologische manipulatie en causaal redeneren vastlegt. Voor deze niveaus hebben we hoogwaardige en diverse testcases samengesteld die een geleidelijk toenemende complexiteit in het opvolgen van visuele instructies weerspiegelen. Verder stellen we een robust LMM-as-a-judge evaluatieraamwerk voor met taakspecifieke metrieken om schaalbare en fijnmazige beoordeling mogelijk te maken. Uit een uitgebreide evaluatie van 17 representatieve open-source en propriëtaire beeldbewerkingsmodellen blijkt dat propriëtaire modellen vroege visuele instructie-opvolgingscapaciteiten vertonen en consequent beter presteren dan open-source modellen. De prestaties nemen echter aanzienlijk af bij toenemende taakmoeilijkheid, zelfs voor de sterkste systemen, wat veelbelovende onderzoeksrichtingen voor de toekomst aangeeft.
English
Recent generative models have achieved remarkable progress in image editing. However, existing systems and benchmarks remain largely text-guided. In contrast, human communication is inherently multimodal, where visual instructions such as sketches efficiently convey spatial and structural intent. To address this gap, we introduce VIBE, the Visual Instruction Benchmark for Image Editing with a three-level interaction hierarchy that captures deictic grounding, morphological manipulation, and causal reasoning. Across these levels, we curate high-quality and diverse test cases that reflect progressively increasing complexity in visual instruction following. We further propose a robust LMM-as-a-judge evaluation framework with task-specific metrics to enable scalable and fine-grained assessment. Through a comprehensive evaluation of 17 representative open-source and proprietary image editing models, we find that proprietary models exhibit early-stage visual instruction-following capabilities and consistently outperform open-source models. However, performance degrades markedly with increasing task difficulty even for the strongest systems, highlighting promising directions for future research.