AdaState: Âncoras Auto-Evolutivas para Geração de Vídeo em Streaming

Resumo

Modelos de difusão de vídeo autorregressivos geram vídeo em streaming produzindo quadros sequencialmente, condicionando cada bloco ao conteúdo gerado anteriormente. Esses modelos estão estruturalmente ancorados ao primeiro quadro: sua representação chave-valor ocupa uma posição privilegiada no cache de atenção e serve como referência primária da cena ao longo da geração. Como a posição mais limpa e livre de erros no cache, essa âncora atrai atenção desproporcional, suprimindo a dinâmica do vídeo e fixando a composição da cena ao ponto de vista inicial, mesmo enquanto a cena evolui naturalmente. O resultado é um vídeo temporalmente raso, no qual movimento, deslocamento de câmera e progressão da cena são atenuados em favor de uma consistência estática. Para lidar com isso, substituímos a âncora estática por um estado adaptativo, um latente oculto que o modelo remove ruído juntamente com o conteúdo a cada bloco, mas nunca renderiza. Em vez de referenciar um primeiro quadro congelado, o modelo gera sua própria âncora de cena a cada etapa, atendendo tanto ao estado anterior quanto ao conteúdo atual, produzindo uma referência que evolui com o conteúdo gerado. Diferentemente da geração de vídeo padrão, que codifica uma noção absoluta de tempo, nossa formulação trata o tempo como relativo: cada etapa de geração vê a mesma estrutura posicional, independentemente de quão longe a geração progrediu, e a transição de estado é idêntica em cada bloco. Juntas, essas propriedades introduzem uma recorrência no processo de geração, onde a remoção de ruído serve como função de transição, e o cache KV atua como portador, sem exigir módulo externo. Experimentos demonstram que o estado adaptativo melhora substancialmente a dinâmica do vídeo, possibilitando movimento mais rico e progressão natural da cena nos vídeos gerados.

English

Autoregressive video diffusion models generate streaming video by producing frames sequentially, conditioning each chunk on previously generated content. These models are structurally anchored to the first frame: its key-value representation occupies a privileged position in the attention cache and serves as the primary scene reference throughout generation. As the cleanest and most error-free position in the cache, this anchor draws disproportionate attention, suppressing video dynamics, and locking scene composition to the initial viewpoint even as the scene naturally evolves. The result is a temporally shallow video in which motion, camera movement, and scene progression are dampened in favor of static consistency. To address this, we replace the static anchor with an adaptive state, a hidden latent that the model denoises alongside content at every chunk but never renders. Rather than referencing a frozen first frame, the model generates its own scene anchor at each step by attending to both the previous state and the current content, producing a reference that evolves with the generated content. Unlike standard video generation, which encodes an absolute notion of time, our formulation treats time as relative: every generation step sees the same positional structure regardless of how far generation has progressed, and the state transition is identical at every chunk. Together, these properties introduce a recurrence into the generation process, where denoising serves as the transition function, and the KV cache serves as the carrier, requiring no external module. Experiments demonstrate that the adaptive state substantially improves video dynamics, enabling richer motion and natural scene progression within generated videos.