UniT: Escalado Unificado Multimodal de Cadena de Razonamiento en Tiempo de Prueba

Resumen

Los modelos unificados pueden manejar tanto la comprensión como la generación multimodal dentro de una única arquitectura, pero normalmente operan en una sola pasada sin refinar iterativamente sus salidas. Muchas tareas multimodales, especialmente aquellas que implican composiciones espaciales complejas, múltiples objetos que interactúan o instrucciones en evolución, requieren descomponer instrucciones, verificar resultados intermedios y realizar correcciones iterativas. Si bien el escalado en tiempo de prueba (TTS) ha demostrado que asignar capacidad de cómputo adicional para el razonamiento iterativo mejora sustancialmente el rendimiento de los modelos de lenguaje, extender este paradigma a los modelos multimodales unificados sigue siendo un desafío abierto. Presentamos UniT, un marco de trabajo para el escalado en tiempo de prueba con cadena de pensamiento multimodal que permite a un único modelo unificado razonar, verificar y refinar a lo largo de múltiples rondas. UniT combina la síntesis de datos agentica, el entrenamiento de modelos unificados y una inferencia en tiempo de prueba flexible para elicitar comportamientos cognitivos que incluyen verificación, descomposición de subobjetivos y memoria de contenido. Nuestros hallazgos clave son: (1) los modelos unificados entrenados en trayectorias de razonamiento cortas generalizan a cadenas de inferencia más largas en tiempo de prueba; (2) el razonamiento secuencial con cadena de pensamiento proporciona una estrategia TTS más escalable y eficiente en cómputo que el muestreo paralelo; (3) el entrenamiento en trayectorias de generación y edición mejora el razonamiento visual fuera de distribución. Estos resultados establecen el escalado multimodal en tiempo de prueba como un paradigma eficaz para avanzar tanto en la generación como en la comprensión en modelos unificados.

English

Unified models can handle both multimodal understanding and generation within a single architecture, yet they typically operate in a single pass without iteratively refining their outputs. Many multimodal tasks, especially those involving complex spatial compositions, multiple interacting objects, or evolving instructions, require decomposing instructions, verifying intermediate results, and making iterative corrections. While test-time scaling (TTS) has demonstrated that allocating additional inference compute for iterative reasoning substantially improves language model performance, extending this paradigm to unified multimodal models remains an open challenge. We introduce UniT, a framework for multimodal chain-of-thought test-time scaling that enables a single unified model to reason, verify, and refine across multiple rounds. UniT combines agentic data synthesis, unified model training, and flexible test-time inference to elicit cognitive behaviors including verification, subgoal decomposition, and content memory. Our key findings are: (1) unified models trained on short reasoning trajectories generalize to longer inference chains at test time; (2) sequential chain-of-thought reasoning provides a more scalable and compute-efficient TTS strategy than parallel sampling; (3) training on generation and editing trajectories improves out-of-distribution visual reasoning. These results establish multimodal test-time scaling as an effective paradigm for advancing both generation and understanding in unified models.

UniT: Escalado Unificado Multimodal de Cadena de Razonamiento en Tiempo de Prueba

UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

Resumen

Support