Wie gut befolgen Modelle visuelle Anweisungen? VIBE: Ein systematischer Benchmark für visuelle anweisungsgesteuerte Bildbearbeitung
How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing
February 2, 2026
papers.authors: Huanyu Zhang, Xuehai Bai, Chengzu Li, Chen Liang, Haochen Tian, Haodong Li, Ruichuan An, Yifan Zhang, Anna Korhonen, Zhang Zhang, Liang Wang, Tieniu Tan
cs.AI
papers.abstract
Kürzlich haben generative Modelle bemerkenswerte Fortschritte in der Bildbearbeitung erzielt. Allerdings sind bestehende Systeme und Benchmarks größtenteils textgesteuert. Im Gegensatz dazu ist die menschliche Kommunikation inhärent multimodal, wobei visuelle Anweisungen wie Skizzen räumliche und strukturelle Absichten effizient vermitteln. Um diese Lücke zu schließen, stellen wir VIBE vor, den Visual Instruction Benchmark for Image Editing mit einer dreistufigen Interaktionshierarchie, die deiktische Verankerung, morphologische Manipulation und kausales Schließen erfasst. Für diese Ebenen kuratieren wir hochwertige und vielfältige Testfälle, die eine progressiv steigende Komplexität in der Befolgung visueller Anweisungen widerspiegeln. Darüber hinaus schlagen wir einen robusten LMM-as-a-Judge-Bewertungsrahmen mit aufgabenspezifischen Metriken vor, um eine skalierbare und feingranulare Bewertung zu ermöglichen. Durch eine umfassende Evaluation von 17 repräsentativen Open-Source- und proprietären Bildbearbeitungsmodellen stellen wir fest, dass proprietäre Modelle frühe Fähigkeiten zur Befolgung visueller Anweisungen aufweisen und durchgängig besser abschneiden als Open-Source-Modelle. Allerdings verschlechtert sich die Leistung mit zunehmender Aufgabenschwierigkeit selbst für die stärksten Systeme deutlich, was vielversprechende Richtungen für zukünftige Forschung aufzeigt.
English
Recent generative models have achieved remarkable progress in image editing. However, existing systems and benchmarks remain largely text-guided. In contrast, human communication is inherently multimodal, where visual instructions such as sketches efficiently convey spatial and structural intent. To address this gap, we introduce VIBE, the Visual Instruction Benchmark for Image Editing with a three-level interaction hierarchy that captures deictic grounding, morphological manipulation, and causal reasoning. Across these levels, we curate high-quality and diverse test cases that reflect progressively increasing complexity in visual instruction following. We further propose a robust LMM-as-a-judge evaluation framework with task-specific metrics to enable scalable and fine-grained assessment. Through a comprehensive evaluation of 17 representative open-source and proprietary image editing models, we find that proprietary models exhibit early-stage visual instruction-following capabilities and consistently outperform open-source models. However, performance degrades markedly with increasing task difficulty even for the strongest systems, highlighting promising directions for future research.