Übergangsmodelle: Neubetrachtung des generativen Lernziels

Transition Models: Rethinking the Generative Learning Objective

September 4, 2025

papers.authors: Zidong Wang, Yiyuan Zhang, Xiaoyu Yue, Xiangyu Yue, Yangguang Li, Wanli Ouyang, Lei Bai

cs.AI

papers.abstract

Ein grundlegendes Dilemma in der generativen Modellierung besteht weiterhin: Iterative Diffusionsmodelle erreichen herausragende Detailtreue, jedoch zu erheblichen Rechenkosten, während effiziente Alternativen mit wenigen Schritten durch eine harte Qualitätsgrenze eingeschränkt sind. Dieser Konflikt zwischen Generierungsschritten und Ausgabequalität ergibt sich aus restriktiven Trainingszielen, die sich ausschließlich auf infinitesimale Dynamiken (PF-ODEs) oder direkte Endpunktvorhersagen konzentrieren. Wir begegnen dieser Herausforderung, indem wir eine exakte, zeitkontinuierliche Dynamikgleichung einführen, die Zustandsübergänge über beliebige endliche Zeitintervalle analytisch definiert. Dies führt zu einem neuartigen generativen Paradigma, den Transition Models (TiM), die sich an beliebige Schrittübergänge anpassen und nahtlos die generative Trajektorie von einzelnen Sprüngen bis hin zu fein abgestufter Verfeinerung mit mehr Schritten durchlaufen. Trotz nur 865M Parametern erreichen TiM state-of-the-art Leistungen und übertreffen führende Modelle wie SD3.5 (8B Parameter) und FLUX.1 (12B Parameter) über alle bewerteten Schrittanzahlen hinweg. Wichtig ist, dass TiM im Gegensatz zu früheren Generatoren mit wenigen Schritten eine monotone Qualitätsverbesserung zeigt, wenn das Sampling-Budget erhöht wird. Zudem liefert TiM bei Anwendung unserer nativen Auflösungsstrategie außergewöhnliche Detailtreue bei Auflösungen von bis zu 4096x4096.

English

A fundamental dilemma in generative modeling persists: iterative diffusion models achieve outstanding fidelity, but at a significant computational cost, while efficient few-step alternatives are constrained by a hard quality ceiling. This conflict between generation steps and output quality arises from restrictive training objectives that focus exclusively on either infinitesimal dynamics (PF-ODEs) or direct endpoint prediction. We address this challenge by introducing an exact, continuous-time dynamics equation that analytically defines state transitions across any finite time interval. This leads to a novel generative paradigm, Transition Models (TiM), which adapt to arbitrary-step transitions, seamlessly traversing the generative trajectory from single leaps to fine-grained refinement with more steps. Despite having only 865M parameters, TiM achieves state-of-the-art performance, surpassing leading models such as SD3.5 (8B parameters) and FLUX.1 (12B parameters) across all evaluated step counts. Importantly, unlike previous few-step generators, TiM demonstrates monotonic quality improvement as the sampling budget increases. Additionally, when employing our native-resolution strategy, TiM delivers exceptional fidelity at resolutions up to 4096x4096.