ATLAS: Агентное или латентное визуальное рассуждение? Одного слова достаточно для обоих

Аннотация

Визуальное рассуждение, часто переплетающееся с промежуточными визуальными состояниями, стало перспективным направлением в этой области. Прямолинейный подход заключается в непосредственной генерации изображений с помощью унифицированных моделей в процессе рассуждения, однако это вычислительно затратно и нетривиально с архитектурной точки зрения. Недавние альтернативы включают агентное рассуждение через код или вызовы инструментов, а также латентное рассуждение с обучаемыми скрытыми вложениями. Однако агентные методы вносят задержку переключения контекста из-за внешнего выполнения, в то время как латентные методы не обладают обобщением на задачи и трудно поддаются обучению с авторегрессионной параллелизацией. Чтобы объединить их сильные стороны, одновременно смягчая их ограничения, мы предлагаем ATLAS — фреймворк, в котором одно дискретное "слово", называемое функциональным токеном, служит одновременно и агентной операцией, и единицей латентного визуального рассуждения. Каждый функциональный токен связан с интернализованной визуальной операцией, но не требует визуального контроля и остается стандартным токеном в словаре токенизатора, который может быть сгенерирован с помощью предсказания следующего токена. Такая конструкция позволяет избежать многословной генерации промежуточного визуального контента, сохраняя при этом совместимость со стандартным масштабируемым обучением SFT и RL без архитектурных или методологических модификаций. Для дальнейшего решения проблемы разреженности функциональных токенов во время RL мы представляем LA-GRPO (Latent-Anchored GRPO), которая стабилизирует обучение, закрепляя функциональные токены с помощью статически взвешенной вспомогательной цели, обеспечивая более сильные обновления градиентов. Обширные эксперименты и анализ показывают, что ATLAS достигает превосходной производительности на сложных бенчмарках, сохраняя при этом четкую интерпретируемость. Мы надеемся, что ATLAS предложит новую парадигму, вдохновляющую будущие исследования в области визуального рассуждения.

English

Visual reasoning, often interleaved with intermediate visual states, has emerged as a promising direction in the field. A straightforward approach is to directly generate images via unified models during reasoning, but this is computationally expensive and architecturally non-trivial. Recent alternatives include agentic reasoning through code or tool calls, and latent reasoning with learnable hidden embeddings. However, agentic methods incur context-switching latency from external execution, while latent methods lack task generalization and are difficult to train with autoregressive parallelization. To combine their strengths while mitigating their limitations, we propose ATLAS, a framework in which a single discrete 'word', termed as a functional token, serves both as an agentic operation and a latent visual reasoning unit. Each functional token is associated with an internalized visual operation, yet requires no visual supervision and remains a standard token in the tokenizer vocabulary, which can be generated via next-token prediction. This design avoids verbose intermediate visual content generation, while preserving compatibility with the vanilla scalable SFT and RL training, without architectural or methodological modifications. To further address the sparsity of functional tokens during RL, we introduce Latent-Anchored GRPO (LA-GRPO), which stabilizes the training by anchoring functional tokens with a statically weighted auxiliary objective, providing stronger gradient updates. Extensive experiments and analyses demonstrate that ATLAS achieves superior performance on challenging benchmarks while maintaining clear interpretability. We hope ATLAS offers a new paradigm inspiring future visual reasoning research.