ARM: Un modelo multimodal grande autorregresivo con representaciones discretas unificadas

Resumen

Este artículo presenta ARM, un modelo autorregresivo basado en representaciones discretas que unifica la comprensión, generación y edición de imágenes dentro de un marco de predicción del siguiente token. ARM se sustenta en tres contribuciones: primero, entrenamos un tokenizador visual semántico discreto que convierte imágenes en secuencias compactas de tokens. Nuestro tokenizador se supervisa con múltiples objetivos que promueven conjuntamente la discriminabilidad semántica, la alineación lingüística y la reconstrucción fiel, apoyando así tareas diversas en un espacio latente compartido. Con esto, entrenamos un modelo autorregresivo de 7B sobre secuencias de tokens de texto e imagen a gran escala, desarrollando de forma fluida capacidades de percepción y generación visión-lenguaje. Finalmente, para mejorar aún más el comportamiento alineado con preferencias en la generación de texto a imagen y la edición guiada por instrucciones, ARM aplica aprendizaje por refuerzo (RL) para optimizar objetivos a nivel de tarea, como la calidad visual, la adherencia a instrucciones y la coherencia de edición. Sorprendentemente, los resultados muestran que RL no solo mejora sustancialmente el rendimiento en las tareas objetivo (por ejemplo, elevando WISE general de 0.50 a 0.56, y GEdit-Bench-EN G_O de 5.75 a 6.68), sino que también induce sinergias entre tareas de generación y edición de texto a imagen. En conjunto, estos hallazgos destacan el modelado autorregresivo, cuando se combina con representaciones sólidas y optimización de preferencias, como una base escalable para la inteligencia multimodal. Código: https://github.com/wdrink/ARM.

English

This paper introduces ARM, a discrete representation-based AutoRegressive Model that unifies image understanding, generation, and editing within a next-token prediction framework. ARM is built on three efforts: first, we train a discrete semantic visual tokenizer that maps images into compact token sequences. Our tokenizer is supervised with multiple objectives that jointly promote semantic discriminability, language alignment and faithful reconstruction, thereby supporting diverse tasks in a shared latent space. With this, we train a 7B autoregressive model over large-scale text and image token sequences, seamlessly developing vision-language perception and generation capabilities. Finally, to further improve preference-aligned behavior for text-to-image generation and instruction-guided editing, ARM applies reinforcement learning (RL) to optimize task-level objectives such as visual quality, instruction adherence, and edit consistency. Surprisingly, the results show that RL not only substantially improves performance on the target tasks (e.g., raising WISE overall from 0.50 to 0.56, GEdit-Bench-EN G_O from 5.75 to 6.68), but also induces cross-task synergy between text-to-image generation and editing. Collectively, these findings highlight autoregressive modeling, when paired with strong representations and preference optimization, as a scalable foundation for multimodal intelligence. Code: https://github.com/wdrink/ARM.