視覚的指示にモデルはどれだけ従えるか？ VIBE：視覚的指示駆動型画像編集の体系的ベンチマーク

要旨

近年の生成的モデルは画像編集において目覚ましい進歩を遂げている。しかし、既存のシステムとベンチマークは依然としてテキスト主導の手法が主流である。一方、人間のコミュニケーションは本質的にマルチモーダルであり、スケッチなどの視覚的指示は空間的・構造的意図を効率的に伝達する。この隔たりを埋めるため、我々は3段階のインタラクション階層（指示的接地、形態的操作、因果推論）を備えた画像編集のための視覚的指示ベンチマークVIBEを提案する。これらの階層において、視覚的指示の追従における複雑性が段階的に増加する多様で高品質なテストケースを構築した。さらに、タスク特化の評価指標を用いた頑健なLMM-as-a-judge評価フレームワークを提案し、スケーラブルできめ細かい評価を可能にする。17の代表的なオープンソースおよびプロプライエタリ画像編集モデルに対する包括的評価を通じて、プロプライエタリモデルは初期段階の視覚的指示追従能力を示し、一貫してオープンソースモデルを上回ることを明らかにした。しかし、最も強力なシステムであっても、タスクの難易度が増すにつれて性能が顕著に低下し、将来の研究に向けた有望な方向性が示された。

English

Recent generative models have achieved remarkable progress in image editing. However, existing systems and benchmarks remain largely text-guided. In contrast, human communication is inherently multimodal, where visual instructions such as sketches efficiently convey spatial and structural intent. To address this gap, we introduce VIBE, the Visual Instruction Benchmark for Image Editing with a three-level interaction hierarchy that captures deictic grounding, morphological manipulation, and causal reasoning. Across these levels, we curate high-quality and diverse test cases that reflect progressively increasing complexity in visual instruction following. We further propose a robust LMM-as-a-judge evaluation framework with task-specific metrics to enable scalable and fine-grained assessment. Through a comprehensive evaluation of 17 representative open-source and proprietary image editing models, we find that proprietary models exhibit early-stage visual instruction-following capabilities and consistently outperform open-source models. However, performance degrades markedly with increasing task difficulty even for the strongest systems, highlighting promising directions for future research.

視覚的指示にモデルはどれだけ従えるか？ VIBE：視覚的指示駆動型画像編集の体系的ベンチマーク

How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing

要旨

Support