Untersuchung visueller Planung in Bildbearbeitungsmodellen
Probing Visual Planning in Image Editing Models
April 23, 2026
Autoren: Zhimu Zhou, Yanpeng Zhao, Qiuyu Liao, Bo Zhao, Xiaojian Ma
cs.AI
Zusammenfassung
Visuelle Planung stellt einen entscheidenden Aspekt der menschlichen Intelligenz dar, insbesondere bei Aufgaben, die komplexes räumliches Denken und Navigation erfordern. Im Bereich des maschinellen Lernens wird dieses inhärent visuelle Problem jedoch oft durch eine sprachzentrierte Brille angegangen. Obwohl neuere Forschung das Potenzial vollständig visueller Ansätze aufzeigt, leiden diese unter erheblicher rechnerischer Ineffizienz, bedingt durch das schrittweise Planen-durch-Generieren-Paradigma. In dieser Arbeit stellen wir EAR vor, ein Editing-as-Reasoning-Paradigma, das visuelle Planung als Einzelschritt-Bildtransformation neu formuliert. Um intrinsisches Denken von visueller Erkennung zu isolieren, verwenden wir abstrakte Rätsel als Testaufgaben und führen AMAZE ein, einen prozedural generierten Datensatz, der die klassischen Maze- und Queen-Probleme umfasst und unterschiedliche, komplementäre Formen der visuellen Planung abdeckt. Die abstrakte Natur von AMAZE erleichtert zudem die automatische Evaluierung autoregressiver und diffusionsbasierter Modelle hinsichtlich pixelweiser Treue und logischer Validität. Wir bewerten führende proprietäre und quelloffene Bildbearbeitungsmodelle. Die Ergebnisse zeigen, dass alle im Null-Probe-Kontext Schwierigkeiten haben, Feinabstimmung auf grundlegenden Skalen jedoch eine bemerkenswerte Generalisierung auf größere innere Domänenskalen sowie auf äußere Domänenskalen und -geometrien ermöglicht. Unser bestes Modell, das auf High-End-Hardware läuft, erreicht jedoch nicht die Null-Probe-Effizienz menschlicher Löser, was eine anhaltende Lücke im neuronalen visuellen Denken aufzeigt.
English
Visual planning represents a crucial facet of human intelligence, especially in tasks that require complex spatial reasoning and navigation. Yet, in machine learning, this inherently visual problem is often tackled through a verbal-centric lens. While recent research demonstrates the promise of fully visual approaches, they suffer from significant computational inefficiency due to the step-by-step planning-by-generation paradigm. In this work, we present EAR, an editing-as-reasoning paradigm that reformulates visual planning as a single-step image transformation. To isolate intrinsic reasoning from visual recognition, we employ abstract puzzles as probing tasks and introduce AMAZE, a procedurally generated dataset that features the classical Maze and Queen problems, covering distinct, complementary forms of visual planning. The abstract nature of AMAZE also facilitates automatic evaluation of autoregressive and diffusion-based models in terms of both pixel-wise fidelity and logical validity. We assess leading proprietary and open-source editing models. The results show that they all struggle in the zero-shot setting, finetuning on basic scales enables remarkable generalization to larger in-domain scales and out-of-domain scales and geometries. However, our best model that runs on high-end hardware fails to match the zero-shot efficiency of human solvers, highlighting a persistent gap in neural visual reasoning.