ATLAS: Agentisches oder latentes visuelles Denken? Ein Wort genügt für beides.

Zusammenfassung

Visuelles Denken, oft durchsetzt mit intermediären visuellen Zuständen, hat sich als vielversprechende Richtung in diesem Bereich etabliert. Ein naheliegender Ansatz besteht darin, während des Denkprozesses direkt Bilder über vereinheitlichte Modelle zu generieren, was jedoch rechenintensiv und architektonisch anspruchsvoll ist. Neuere Alternativen umfassen agentisches Denken über Code- oder Tool-Aufrufe sowie latentes Denken mit lernbaren verborgenen Einbettungen. Allerdings verursachen agentische Methoden Latenzen durch Kontextwechsel bei der externen Ausführung, während latente Methoden an mangelnder Aufgabenverallgemeinerung leiden und sich mit autoregressiver Parallelisierung nur schwer trainieren lassen. Um ihre Stärken zu vereinen und gleichzeitig ihre Schwächen zu mildern, schlagen wir ATLAS vor, ein Framework, in dem ein einzelnes diskretes 'Wort', bezeichnet als funktionales Token, sowohl als agentische Operation als auch als latente visuelle Denkeinheit dient. Jedes funktionale Token ist mit einer internalisierten visuellen Operation verknüpft, benötigt jedoch keine visuelle Überwachung und bleibt ein Standard-Token im Vokabular des Tokenizers, das durch nächste-Token-Vorhersage generiert werden kann. Dieses Design vermeidet die Erzeugung weitschweifiger intermediärer visueller Inhalte, während die Kompatibilität mit dem standardmäßigen skalierbaren SFT- und RL-Training gewahrt bleibt, ohne architektonische oder methodische Änderungen. Um die Seltenheit funktionaler Tokens während des RL weiter zu adressieren, führen wir Latent-Anchored GRPO (LA-GRPO) ein, das das Training stabilisiert, indem es funktionale Tokens mit einem statisch gewichteten Hilfsziel verankert und stärkere Gradientenaktualisierungen bereitstellt. Umfangreiche Experimente und Analysen zeigen, dass ATLAS auf anspruchsvollen Benchmarks eine überlegene Leistung erzielt, während es eine klare Interpretierbarkeit bewahrt. Wir hoffen, dass ATLAS ein neues Paradigma bietet, das die zukünftige Forschung im visuellen Denken inspiriert.

English

Visual reasoning, often interleaved with intermediate visual states, has emerged as a promising direction in the field. A straightforward approach is to directly generate images via unified models during reasoning, but this is computationally expensive and architecturally non-trivial. Recent alternatives include agentic reasoning through code or tool calls, and latent reasoning with learnable hidden embeddings. However, agentic methods incur context-switching latency from external execution, while latent methods lack task generalization and are difficult to train with autoregressive parallelization. To combine their strengths while mitigating their limitations, we propose ATLAS, a framework in which a single discrete 'word', termed as a functional token, serves both as an agentic operation and a latent visual reasoning unit. Each functional token is associated with an internalized visual operation, yet requires no visual supervision and remains a standard token in the tokenizer vocabulary, which can be generated via next-token prediction. This design avoids verbose intermediate visual content generation, while preserving compatibility with the vanilla scalable SFT and RL training, without architectural or methodological modifications. To further address the sparsity of functional tokens during RL, we introduce Latent-Anchored GRPO (LA-GRPO), which stabilizes the training by anchoring functional tokens with a statically weighted auxiliary objective, providing stronger gradient updates. Extensive experiments and analyses demonstrate that ATLAS achieves superior performance on challenging benchmarks while maintaining clear interpretability. We hope ATLAS offers a new paradigm inspiring future visual reasoning research.