За пределами пикселей: Бенчмаркинг визуального редактирования с учетом логического мышления

Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing

April 3, 2025

Авторы: Xiangyu Zhao, Peiyuan Zhang, Kexian Tang, Hao Li, Zicheng Zhang, Guangtao Zhai, Junchi Yan, Hua Yang, Xue Yang, Haodong Duan

cs.AI

Аннотация

Крупные мультимодальные модели (LMM) достигли значительного прогресса в области визуального понимания и генерации, однако они по-прежнему сталкиваются с трудностями в задачах общего визуального редактирования, особенно в следовании сложным инструкциям, сохранении согласованности внешнего вида и поддержке гибких форматов входных данных. Чтобы устранить этот пробел, мы представляем RISEBench — первый бенчмарк для оценки визуального редактирования, основанного на рассуждениях (Reasoning-Informed viSual Editing, RISE). RISEBench фокусируется на четырех ключевых типах рассуждений: временных, причинно-следственных, пространственных и логических. Мы подготовили высококачественные тестовые примеры для каждой категории и предложили оценочную структуру, которая оценивает рассуждения на основе инструкций, согласованность внешнего вида и визуальную правдоподобность с использованием как человеческих оценщиков, так и подхода LMM-as-a-judge. Наши эксперименты показывают, что, хотя GPT-4o-Native значительно превосходит другие открытые и проприетарные модели, даже эта передовая система испытывает трудности с задачами логического рассуждения, что подчеркивает область, которая остается недостаточно изученной. В качестве начального усилия RISEBench стремится предоставить фундаментальные инсайты в визуальное редактирование с учетом рассуждений и стимулировать будущие исследования. Хотя проект находится на ранней стадии, мы стремимся к постоянному расширению и улучшению бенчмарка для поддержки более комплексных, надежных и масштабируемых оценок мультимодальных систем следующего поколения. Наш код и данные будут опубликованы по адресу https://github.com/PhoenixZ810/RISEBench.

English

Large Multi-modality Models (LMMs) have made significant progress in visual understanding and generation, but they still face challenges in General Visual Editing, particularly in following complex instructions, preserving appearance consistency, and supporting flexible input formats. To address this gap, we introduce RISEBench, the first benchmark for evaluating Reasoning-Informed viSual Editing (RISE). RISEBench focuses on four key reasoning types: Temporal, Causal, Spatial, and Logical Reasoning. We curate high-quality test cases for each category and propose an evaluation framework that assesses Instruction Reasoning, Appearance Consistency, and Visual Plausibility with both human judges and an LMM-as-a-judge approach. Our experiments reveal that while GPT-4o-Native significantly outperforms other open-source and proprietary models, even this state-of-the-art system struggles with logical reasoning tasks, highlighting an area that remains underexplored. As an initial effort, RISEBench aims to provide foundational insights into reasoning-aware visual editing and to catalyze future research. Though still in its early stages, we are committed to continuously expanding and refining the benchmark to support more comprehensive, reliable, and scalable evaluations of next-generation multimodal systems. Our code and data will be released at https://github.com/PhoenixZ810/RISEBench.