Насколько хорошо модели следуют визуальным инструкциям? VIBE: Систематический бенчмарк для редактирования изображений на основе визуальных инструкций
How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing
February 2, 2026
Авторы: Huanyu Zhang, Xuehai Bai, Chengzu Li, Chen Liang, Haochen Tian, Haodong Li, Ruichuan An, Yifan Zhang, Anna Korhonen, Zhang Zhang, Liang Wang, Tieniu Tan
cs.AI
Аннотация
Современные генеративные модели демонстрируют значительный прогресс в области редактирования изображений. Однако существующие системы и бенчмарки в основном остаются тексто-ориентированными. В отличие от них, человеческое общение по своей природе мультимодально, где визуальные инструкции, такие как наброски, эффективно передают пространственные и структурные намерения. Для преодоления этого разрыва мы представляем VIBE — визуальный инструктивный бенчмарк для редактирования изображений с трехуровневой иерархией взаимодействия, которая охватывает дейктическую привязку, морфологические манипуляции и каузальные рассуждения. Для каждого из этих уровней мы подготовили качественные и разнообразные тестовые примеры, отражающие прогрессивно возрастающую сложность следования визуальным инструкциям. Мы также предлагаем надежную систему оценки LMM-as-a-judge с метриками, специфичными для задач, чтобы обеспечить масштабируемую и детальную оценку. В ходе всесторонней оценки 17 репрезентативных моделей редактирования изображений с открытым исходным кодом и проприетарных моделей мы обнаружили, что проприетарные модели демонстрируют зачаточные способности следования визуальным инструкциям и последовательно превосходят модели с открытым исходным кодом. Однако производительность заметно снижается с увеличением сложности задачи даже для самых мощных систем, что указывает на перспективные направления для будущих исследований.
English
Recent generative models have achieved remarkable progress in image editing. However, existing systems and benchmarks remain largely text-guided. In contrast, human communication is inherently multimodal, where visual instructions such as sketches efficiently convey spatial and structural intent. To address this gap, we introduce VIBE, the Visual Instruction Benchmark for Image Editing with a three-level interaction hierarchy that captures deictic grounding, morphological manipulation, and causal reasoning. Across these levels, we curate high-quality and diverse test cases that reflect progressively increasing complexity in visual instruction following. We further propose a robust LMM-as-a-judge evaluation framework with task-specific metrics to enable scalable and fine-grained assessment. Through a comprehensive evaluation of 17 representative open-source and proprietary image editing models, we find that proprietary models exhibit early-stage visual instruction-following capabilities and consistently outperform open-source models. However, performance degrades markedly with increasing task difficulty even for the strongest systems, highlighting promising directions for future research.