ARM: Большая авторегрессионная мультимодальная модель с унифицированными дискретными представлениями

Аннотация

Данная статья представляет ARM — авторегрессионную модель на основе дискретных представлений, объединяющую понимание, генерацию и редактирование изображений в рамках фреймворка предсказания следующего токена. В основе ARM лежат три направления: во-первых, обучение дискретного семантического визуального токенизатора, преобразующего изображения в компактные последовательности токенов. Токенизатор обучается с помощью множества целевых функций, совместно обеспечивающих семантическую различимость, согласованность с языком и достоверную реконструкцию, что позволяет поддерживать разнообразные задачи в общем латентном пространстве. Затем мы обучаем авторегрессионную модель с 7 млрд параметров на крупномасштабных последовательностях текстовых и графических токенов, органично развивая способности к визуально-языковому восприятию и генерации. Наконец, для улучшения согласованного с предпочтениями поведения при генерации изображений по текстовому описанию и редактировании по инструкциям ARM применяет обучение с подкреплением (RL) для оптимизации целей на уровне задач, таких как визуальное качество, следование инструкциям и согласованность редактирования. Удивительно, но результаты показывают, что RL не только существенно повышает производительность в целевых задачах (например, улучшение WISE overall с 0,50 до 0,56, GEdit-Bench-EN G_O с 5,75 до 6,68), но и вызывает кросс-функциональный синергизм между генерацией изображений по тексту и редактированием. В совокупности эти результаты подчеркивают, что авторегрессионное моделирование в сочетании с сильными представлениями и оптимизацией предпочтений является масштабируемой основой для мультимодального интеллекта. Код: https://github.com/wdrink/ARM.

English

This paper introduces ARM, a discrete representation-based AutoRegressive Model that unifies image understanding, generation, and editing within a next-token prediction framework. ARM is built on three efforts: first, we train a discrete semantic visual tokenizer that maps images into compact token sequences. Our tokenizer is supervised with multiple objectives that jointly promote semantic discriminability, language alignment and faithful reconstruction, thereby supporting diverse tasks in a shared latent space. With this, we train a 7B autoregressive model over large-scale text and image token sequences, seamlessly developing vision-language perception and generation capabilities. Finally, to further improve preference-aligned behavior for text-to-image generation and instruction-guided editing, ARM applies reinforcement learning (RL) to optimize task-level objectives such as visual quality, instruction adherence, and edit consistency. Surprisingly, the results show that RL not only substantially improves performance on the target tasks (e.g., raising WISE overall from 0.50 to 0.56, GEdit-Bench-EN G_O from 5.75 to 6.68), but also induces cross-task synergy between text-to-image generation and editing. Collectively, these findings highlight autoregressive modeling, when paired with strong representations and preference optimization, as a scalable foundation for multimodal intelligence. Code: https://github.com/wdrink/ARM.