UniT: Vereinheitlichte multimodale Testzeit-Skalierung mittels Denkketten

papers.abstract

Einheitliche Modelle können sowohl multimodales Verständnis als auch Generierung innerhalb einer einzigen Architektur bewältigen, arbeiten jedoch typischerweise in einem einzigen Durchlauf, ohne ihre Ausgaben iterativ zu verfeinern. Viele multimodale Aufgaben, insbesondere solche mit komplexen räumlichen Kompositionen, mehreren interagierenden Objekten oder sich entwickelnden Instruktionen, erfordern das Zerlegen von Anweisungen, das Überprüfen von Zwischenergebnissen und das Vornehmen iterativer Korrekturen. Während Test-Time Scaling (TTS) gezeigt hat, dass die Zuweisung zusätzlicher Inferenz-Rechenleistung für iteratives Schlussfolgern die Leistung von Sprachmodellen erheblich verbessert, bleibt die Erweiterung dieses Paradigmas auf einheitliche multimodale Modelle eine offene Herausforderung. Wir stellen UniT vor, einen Rahmen für multimodales Chain-of-Thought-Test-Time-Scaling, der einem einzelnen einheitlichen Modell ermöglicht, über mehrere Runden hinweg zu schlussfolgern, zu verifizieren und zu verfeinern. UniT kombiniert agentenbasierte Datensynthese, einheitliches Modelltraining und flexible Test-Time-Inferenz, um kognitive Verhaltensweisen wie Verifikation, Teilzielzerlegung und Inhaltsgedächtnis zu elicitieren. Unsere wichtigsten Erkenntnisse sind: (1) Einheitliche Modelle, die auf kurzen Reasoning-Trajektorien trainiert wurden, generalisieren auf längere Inferenzketten zur Testzeit; (2) Sequenzielles Chain-of-Thought-Reasoning bietet eine skalierbarere und recheneffizientere TTS-Strategie als paralleles Sampling; (3) Training auf Generierungs- und Bearbeitungstrajektorien verbessert das visuelle Reasoning außerhalb der Trainingsverteilung. Diese Ergebnisse etablieren multimodales Test-Time-Scaling als ein effektives Paradigma zur Weiterentwicklung von Generierung und Verständnis in einheitlichen Modellen.

English

Unified models can handle both multimodal understanding and generation within a single architecture, yet they typically operate in a single pass without iteratively refining their outputs. Many multimodal tasks, especially those involving complex spatial compositions, multiple interacting objects, or evolving instructions, require decomposing instructions, verifying intermediate results, and making iterative corrections. While test-time scaling (TTS) has demonstrated that allocating additional inference compute for iterative reasoning substantially improves language model performance, extending this paradigm to unified multimodal models remains an open challenge. We introduce UniT, a framework for multimodal chain-of-thought test-time scaling that enables a single unified model to reason, verify, and refine across multiple rounds. UniT combines agentic data synthesis, unified model training, and flexible test-time inference to elicit cognitive behaviors including verification, subgoal decomposition, and content memory. Our key findings are: (1) unified models trained on short reasoning trajectories generalize to longer inference chains at test time; (2) sequential chain-of-thought reasoning provides a more scalable and compute-efficient TTS strategy than parallel sampling; (3) training on generation and editing trajectories improves out-of-distribution visual reasoning. These results establish multimodal test-time scaling as an effective paradigm for advancing both generation and understanding in unified models.

UniT: Vereinheitlichte multimodale Testzeit-Skalierung mittels Denkketten

UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

papers.abstract

Support