Jenseits der Pixel: Benchmarking visueller Bearbeitung mit integrierter logischer Schlussfolgerung

Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing

April 3, 2025

Autoren: Xiangyu Zhao, Peiyuan Zhang, Kexian Tang, Hao Li, Zicheng Zhang, Guangtao Zhai, Junchi Yan, Hua Yang, Xue Yang, Haodong Duan

cs.AI

Zusammenfassung

Große Multimodalitätsmodelle (LMMs) haben bedeutende Fortschritte im Bereich des visuellen Verstehens und der Generierung erzielt, stehen jedoch weiterhin vor Herausforderungen beim Allgemeinen Visuellen Bearbeiten, insbesondere bei der Befolgung komplexer Anweisungen, der Wahrung der Erscheinungskonsistenz und der Unterstützung flexibler Eingabeformate. Um diese Lücke zu schließen, führen wir RISEBench ein, den ersten Benchmark zur Bewertung von Reasoning-Informed Visual Editing (RISE). RISEBench konzentriert sich auf vier Schlüsseltypen des logischen Denkens: Temporales, Kausales, Räumliches und Logisches Reasoning. Wir haben hochwertige Testfälle für jede Kategorie kuratiert und ein Bewertungsframework vorgeschlagen, das die Anweisungslogik, die Erscheinungskonsistenz und die visuelle Plausibilität sowohl mit menschlichen Gutachtern als auch mit einem LMM-als-Gutachter-Ansatz bewertet. Unsere Experimente zeigen, dass GPT-4o-Native zwar andere Open-Source- und proprietäre Modelle deutlich übertrifft, selbst dieses Spitzensystem jedoch mit logischen Denkaufgaben zu kämpfen hat, was einen Bereich aufzeigt, der noch unzureichend erforscht ist. Als erste Initiative zielt RISEBench darauf ab, grundlegende Einblicke in das reasoning-bewusste visuelle Bearbeiten zu bieten und zukünftige Forschung anzuregen. Obwohl sich das Projekt noch in einem frühen Stadium befindet, sind wir bestrebt, den Benchmark kontinuierlich zu erweitern und zu verfeinern, um umfassendere, zuverlässigere und skalierbarere Bewertungen der nächsten Generation multimodaler Systeme zu unterstützen. Unser Code und unsere Daten werden unter https://github.com/PhoenixZ810/RISEBench veröffentlicht.

English

Large Multi-modality Models (LMMs) have made significant progress in visual understanding and generation, but they still face challenges in General Visual Editing, particularly in following complex instructions, preserving appearance consistency, and supporting flexible input formats. To address this gap, we introduce RISEBench, the first benchmark for evaluating Reasoning-Informed viSual Editing (RISE). RISEBench focuses on four key reasoning types: Temporal, Causal, Spatial, and Logical Reasoning. We curate high-quality test cases for each category and propose an evaluation framework that assesses Instruction Reasoning, Appearance Consistency, and Visual Plausibility with both human judges and an LMM-as-a-judge approach. Our experiments reveal that while GPT-4o-Native significantly outperforms other open-source and proprietary models, even this state-of-the-art system struggles with logical reasoning tasks, highlighting an area that remains underexplored. As an initial effort, RISEBench aims to provide foundational insights into reasoning-aware visual editing and to catalyze future research. Though still in its early stages, we are committed to continuously expanding and refining the benchmark to support more comprehensive, reliable, and scalable evaluations of next-generation multimodal systems. Our code and data will be released at https://github.com/PhoenixZ810/RISEBench.