AdaState: Selbstentwickelnde Anker für die Generierung von Streaming-Videos

Zusammenfassung

Autoregressive Videodiffusionsmodelle erzeugen Streaming-Video, indem sie Frames sequenziell produzieren und jeden Chunk auf zuvor generierten Inhalten konditionieren. Diese Modelle sind strukturell am ersten Frame verankert: Seine Schlüssel-Wert-Repräsentation nimmt eine privilegierte Position im Aufmerksamkeits-Cache ein und dient während der gesamten Generierung als primäre Szenenreferenz. Als sauberste und fehlerfreieste Position im Cache zieht dieser Anker übermäßige Aufmerksamkeit auf sich, unterdrückt Videodynamiken und fixiert die Szenenkomposition auf die anfängliche Perspektive, selbst wenn sich die Szene natürlicherweise weiterentwickelt. Das Ergebnis ist ein zeitlich flaches Video, in dem Bewegung, Kamerabewegung und Szenenfortschritt zugunsten statischer Konsistenz gedämpft werden. Um dies zu adressieren, ersetzen wir den statischen Anker durch einen adaptiven Zustand, eine versteckte Latente, die das Modell bei jedem Chunk zusammen mit den Inhalten entrauscht, aber nie rendert. Anstatt auf einen eingefrorenen ersten Frame zu referenzieren, generiert das Modell bei jedem Schritt seinen eigenen Szenenanker, indem es sowohl auf den vorherigen Zustand als auch auf den aktuellen Inhalt achtet, wodurch eine Referenz entsteht, die sich mit dem generierten Inhalt weiterentwickelt. Im Gegensatz zur standardmäßigen Videogenerierung, die eine absolute Vorstellung von Zeit kodiert, behandelt unsere Formulierung Zeit als relativ: Jeder Generierungsschritt sieht dieselbe Positionsstruktur, unabhängig davon, wie weit die Generierung fortgeschritten ist, und der Zustandsübergang ist bei jedem Chunk identisch. Zusammen führen diese Eigenschaften eine Rekurrenz in den Generierungsprozess ein, wobei das Denoising als Übergangsfunktion dient und der KV-Cache als Träger fungiert, ohne dass ein externes Modul erforderlich ist. Experimente zeigen, dass der adaptive Zustand die Videodynamik erheblich verbessert und reichere Bewegungen sowie natürliche Szenenfortschritte in generierten Videos ermöglicht.

English

Autoregressive video diffusion models generate streaming video by producing frames sequentially, conditioning each chunk on previously generated content. These models are structurally anchored to the first frame: its key-value representation occupies a privileged position in the attention cache and serves as the primary scene reference throughout generation. As the cleanest and most error-free position in the cache, this anchor draws disproportionate attention, suppressing video dynamics, and locking scene composition to the initial viewpoint even as the scene naturally evolves. The result is a temporally shallow video in which motion, camera movement, and scene progression are dampened in favor of static consistency. To address this, we replace the static anchor with an adaptive state, a hidden latent that the model denoises alongside content at every chunk but never renders. Rather than referencing a frozen first frame, the model generates its own scene anchor at each step by attending to both the previous state and the current content, producing a reference that evolves with the generated content. Unlike standard video generation, which encodes an absolute notion of time, our formulation treats time as relative: every generation step sees the same positional structure regardless of how far generation has progressed, and the state transition is identical at every chunk. Together, these properties introduce a recurrence into the generation process, where denoising serves as the transition function, and the KV cache serves as the carrier, requiring no external module. Experiments demonstrate that the adaptive state substantially improves video dynamics, enabling richer motion and natural scene progression within generated videos.