Imaginando más allá de los píxeles: Evaluación de la edición visual basada en razonamiento

Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing

April 3, 2025

Autores: Xiangyu Zhao, Peiyuan Zhang, Kexian Tang, Hao Li, Zicheng Zhang, Guangtao Zhai, Junchi Yan, Hua Yang, Xue Yang, Haodong Duan

cs.AI

Resumen

Los Modelos Multimodales de Gran Escala (LMMs) han logrado avances significativos en la comprensión y generación visual, pero aún enfrentan desafíos en la Edición Visual General, particularmente en seguir instrucciones complejas, preservar la consistencia de apariencia y admitir formatos de entrada flexibles. Para abordar esta brecha, presentamos RISEBench, el primer punto de referencia para evaluar la Edición Visual Informada por Razonamiento (RISE). RISEBench se centra en cuatro tipos clave de razonamiento: Temporal, Causal, Espacial y Lógico. Seleccionamos casos de prueba de alta calidad para cada categoría y proponemos un marco de evaluación que valora el Razonamiento de Instrucciones, la Consistencia de Apariencia y la Plausibilidad Visual, tanto con jueces humanos como con un enfoque LMM-como-juez. Nuestros experimentos revelan que, aunque GPT-4o-Native supera significativamente a otros modelos de código abierto y propietarios, incluso este sistema de última generación tiene dificultades con las tareas de razonamiento lógico, destacando un área que sigue siendo poco explorada. Como un esfuerzo inicial, RISEBench tiene como objetivo proporcionar conocimientos fundamentales sobre la edición visual consciente del razonamiento y catalizar futuras investigaciones. Aunque aún se encuentra en sus primeras etapas, estamos comprometidos a expandir y refinar continuamente el punto de referencia para apoyar evaluaciones más completas, confiables y escalables de los sistemas multimodales de próxima generación. Nuestro código y datos se publicarán en https://github.com/PhoenixZ810/RISEBench.

English

Large Multi-modality Models (LMMs) have made significant progress in visual understanding and generation, but they still face challenges in General Visual Editing, particularly in following complex instructions, preserving appearance consistency, and supporting flexible input formats. To address this gap, we introduce RISEBench, the first benchmark for evaluating Reasoning-Informed viSual Editing (RISE). RISEBench focuses on four key reasoning types: Temporal, Causal, Spatial, and Logical Reasoning. We curate high-quality test cases for each category and propose an evaluation framework that assesses Instruction Reasoning, Appearance Consistency, and Visual Plausibility with both human judges and an LMM-as-a-judge approach. Our experiments reveal that while GPT-4o-Native significantly outperforms other open-source and proprietary models, even this state-of-the-art system struggles with logical reasoning tasks, highlighting an area that remains underexplored. As an initial effort, RISEBench aims to provide foundational insights into reasoning-aware visual editing and to catalyze future research. Though still in its early stages, we are committed to continuously expanding and refining the benchmark to support more comprehensive, reliable, and scalable evaluations of next-generation multimodal systems. Our code and data will be released at https://github.com/PhoenixZ810/RISEBench.