Onderzoek naar Visuele Planning in Beeldbewerkingsmodellen

Probing Visual Planning in Image Editing Models

April 23, 2026

Auteurs: Zhimu Zhou, Yanpeng Zhao, Qiuyu Liao, Bo Zhao, Xiaojian Ma

cs.AI

Samenvatting

Visuele planning vormt een cruciaal aspect van de menselijke intelligentie, met name bij taken die complex ruimtelijk redeneren en navigatie vereisen. In machine learning wordt dit inherent visuele probleem echter vaak vanuit een verbaal-centrische benadering aangepakt. Hoewel recent onderzoek de belofte toont van volledig visuele methoden, lijden deze onder aanzienlijke computationele inefficiëntie door het stapsgewijze plannen-via-generatie paradigma. In dit werk presenteren we EAR, een bewerken-als-redeneren paradigma dat visuele planning herformuleert als een eenstaps beeldtransformatie. Om intrinsiek redeneren te isoleren van visuele herkenning, gebruiken we abstracte puzzels als onderzoektaken en introduceren we AMAZE, een procedureel gegenereerde dataset met de klassieke Doolhof- en Koninginnenproblemen, die verschillende complementaire vormen van visuele planning beslaan. Het abstracte karakter van AMAZE vergemakkelijkt ook de automatische evaluatie van autoregressieve en op diffusie gebaseerde modellen op het gebied van zowel pixelgewijze nauwkeurigheid als logische geldigheid. We evalueren toonaangevende propriëtaire en open-source bewerkingsmodellen. De resultaten tonen aan dat ze allemaal moeite hebben in de zero-shot setting, maar dat finetunen op basisschalen opmerkelijke generalisatie mogelijk maakt naar grotere in-domein schalen en out-of-domain schalen en geometrieën. Desalniettemin slaagt ons beste model dat op high-end hardware draait er niet in de zero-shot efficiëntie van menselijke oplossers te evenaren, wat een hardnekkige kloof in neurale visuele redeneervaardigheden blootlegt.

English

Visual planning represents a crucial facet of human intelligence, especially in tasks that require complex spatial reasoning and navigation. Yet, in machine learning, this inherently visual problem is often tackled through a verbal-centric lens. While recent research demonstrates the promise of fully visual approaches, they suffer from significant computational inefficiency due to the step-by-step planning-by-generation paradigm. In this work, we present EAR, an editing-as-reasoning paradigm that reformulates visual planning as a single-step image transformation. To isolate intrinsic reasoning from visual recognition, we employ abstract puzzles as probing tasks and introduce AMAZE, a procedurally generated dataset that features the classical Maze and Queen problems, covering distinct, complementary forms of visual planning. The abstract nature of AMAZE also facilitates automatic evaluation of autoregressive and diffusion-based models in terms of both pixel-wise fidelity and logical validity. We assess leading proprietary and open-source editing models. The results show that they all struggle in the zero-shot setting, finetuning on basic scales enables remarkable generalization to larger in-domain scales and out-of-domain scales and geometries. However, our best model that runs on high-end hardware fails to match the zero-shot efficiency of human solvers, highlighting a persistent gap in neural visual reasoning.