UniT: Унифицированное мультимодальное масштабирование с цепочкой рассуждений на этапе тестирования

Аннотация

Унифицированные модели способны выполнять как мультимодальное понимание, так и генерацию в рамках единой архитектуры, однако обычно они работают в один проход, без итеративного уточнения своих выходных данных. Многие мультимодальные задачи, особенно те, которые связаны со сложными пространственными композициями, множеством взаимодействующих объектов или развивающимися инструкциями, требуют декомпозиции инструкций, проверки промежуточных результатов и внесения итеративных исправлений. Хотя масштабирование на этапе тестирования (Test-Time Scaling, TTS) показало, что выделение дополнительных вычислительных ресурсов для итеративных рассуждений существенно улучшает производительность языковых моделей, распространение этой парадигмы на унифицированные мультимодальные модели остается нерешенной задачей. Мы представляем UniT — фреймворк для мультимодального масштабирования цепочек рассуждений на этапе тестирования, который позволяет единой унифицированной модели рассуждать, проверять и уточнять результаты на протяжении нескольких раундов. UniT сочетает синтез агентных данных, унифицированное обучение модели и гибкий вывод на этапе тестирования для проявления когнитивных поведений, включая верификацию, декомпозицию подцелей и контентную память. Наши ключевые выводы таковы: (1) унифицированные модели, обученные на коротких траекториях рассуждений, обобщаются на более длинные цепочки вывода во время тестирования; (2) последовательные цепочки рассуждений обеспечивают более масштабируемую и вычислительно эффективную стратегию TTS, чем параллельная выборка; (3) обучение на траекториях генерации и редактирования улучшает визуальные рассуждения на несмещенных данных. Эти результаты утверждают мультимодальное масштабирование на этапе тестирования как эффективную парадигму для прогресса как в генерации, так и в понимании в унифицированных моделях.

English

Unified models can handle both multimodal understanding and generation within a single architecture, yet they typically operate in a single pass without iteratively refining their outputs. Many multimodal tasks, especially those involving complex spatial compositions, multiple interacting objects, or evolving instructions, require decomposing instructions, verifying intermediate results, and making iterative corrections. While test-time scaling (TTS) has demonstrated that allocating additional inference compute for iterative reasoning substantially improves language model performance, extending this paradigm to unified multimodal models remains an open challenge. We introduce UniT, a framework for multimodal chain-of-thought test-time scaling that enables a single unified model to reason, verify, and refine across multiple rounds. UniT combines agentic data synthesis, unified model training, and flexible test-time inference to elicit cognitive behaviors including verification, subgoal decomposition, and content memory. Our key findings are: (1) unified models trained on short reasoning trajectories generalize to longer inference chains at test time; (2) sequential chain-of-thought reasoning provides a more scalable and compute-efficient TTS strategy than parallel sampling; (3) training on generation and editing trajectories improves out-of-distribution visual reasoning. These results establish multimodal test-time scaling as an effective paradigm for advancing both generation and understanding in unified models.

UniT: Унифицированное мультимодальное масштабирование с цепочкой рассуждений на этапе тестирования

UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

Аннотация

Support