AdaState: Anclajes Autoevolutivos para la Generación de Video en Streaming

Resumen

Los modelos de difusión de video autorregresivos generan video en streaming produciendo fotogramas de forma secuencial, condicionando cada fragmento al contenido previamente generado. Estos modelos están estructuralmente anclados al primer fotograma: su representación clave-valor ocupa una posición privilegiada en la caché de atención y sirve como referencia principal de la escena durante toda la generación. Al ser la posición más limpia y libre de errores en la caché, este ancla atrae atención desproporcionada, suprime la dinámica del video y fija la composición de la escena al punto de vista inicial, incluso cuando la escena evoluciona de forma natural. El resultado es un video temporalmente superficial en el que el movimiento, el desplazamiento de cámara y la progresión de la escena se amortiguan en favor de la consistencia estática. Para abordar esto, reemplazamos el ancla estática por un estado adaptativo, un latente oculto que el modelo denoisa junto con el contenido en cada fragmento pero nunca renderiza. En lugar de hacer referencia a un primer fotograma congelado, el modelo genera su propio ancla de escena en cada paso atendiendo tanto al estado anterior como al contenido actual, produciendo una referencia que evoluciona con el contenido generado. A diferencia de la generación de video estándar, que codifica una noción absoluta del tiempo, nuestra formulación trata el tiempo como relativo: cada paso de generación ve la misma estructura posicional independientemente de cuánto haya avanzado la generación, y la transición de estado es idéntica en cada fragmento. En conjunto, estas propiedades introducen una recurrencia en el proceso de generación, donde el denoising sirve como función de transición y la caché KV actúa como portadora, sin requerir un módulo externo. Los experimentos demuestran que el estado adaptativo mejora sustancialmente la dinámica del video, permitiendo un movimiento más rico y una progresión natural de la escena dentro de los videos generados.

English

Autoregressive video diffusion models generate streaming video by producing frames sequentially, conditioning each chunk on previously generated content. These models are structurally anchored to the first frame: its key-value representation occupies a privileged position in the attention cache and serves as the primary scene reference throughout generation. As the cleanest and most error-free position in the cache, this anchor draws disproportionate attention, suppressing video dynamics, and locking scene composition to the initial viewpoint even as the scene naturally evolves. The result is a temporally shallow video in which motion, camera movement, and scene progression are dampened in favor of static consistency. To address this, we replace the static anchor with an adaptive state, a hidden latent that the model denoises alongside content at every chunk but never renders. Rather than referencing a frozen first frame, the model generates its own scene anchor at each step by attending to both the previous state and the current content, producing a reference that evolves with the generated content. Unlike standard video generation, which encodes an absolute notion of time, our formulation treats time as relative: every generation step sees the same positional structure regardless of how far generation has progressed, and the state transition is identical at every chunk. Together, these properties introduce a recurrence into the generation process, where denoising serves as the transition function, and the KV cache serves as the carrier, requiring no external module. Experiments demonstrate that the adaptive state substantially improves video dynamics, enabling richer motion and natural scene progression within generated videos.