AdaState: самоэволюционирующие якоря для генерации потокового видео

Аннотация

Авторегрессионные модели диффузии видео генерируют потоковое видео, создавая кадры последовательно, причем каждый блок обусловлен ранее сгенерированным контентом. Эти модели структурно привязаны к первому кадру: его представление ключ-значение занимает привилегированное положение в кэше внимания и служит основным эталоном сцены на протяжении всего процесса генерации. Будучи самой «чистой» и свободной от ошибок позицией в кэше, эта привязка привлекает непропорционально много внимания, подавляя динамику видео и фиксируя композицию сцены в соответствии с исходной точкой обзора, даже если сцена естественным образом развивается. Результатом является темпорально поверхностное видео, в котором движение, перемещение камеры и развитие сцены ослабляются в пользу статической согласованности. Для решения этой проблемы мы заменяем статическую привязку на адаптивное состояние — скрытую латентную переменную, которую модель деноизирует вместе с контентом на каждом блоке, но никогда не визуализирует. Вместо обращения к замороженному первому кадру модель генерирует собственную привязку сцены на каждом шаге, обращаясь как к предыдущему состоянию, так и к текущему контенту, создавая эталон, который развивается вместе с генерируемым контентом. В отличие от стандартной генерации видео, которая кодирует абсолютное понятие времени, наша формулировка рассматривает время как относительное: каждый шаг генерации видит одну и ту же позиционную структуру независимо от того, насколько далеко продвинулась генерация, и переход состояния идентичен для каждого блока. В совокупности эти свойства вводят рекуррентность в процесс генерации, где деноизинг служит функцией перехода, а кэш KV — носителем, не требуя внешнего модуля. Эксперименты показывают, что адаптивное состояние существенно улучшает динамику видео, обеспечивая более богатое движение и естественное развитие сцены в сгенерированных видео.

English

Autoregressive video diffusion models generate streaming video by producing frames sequentially, conditioning each chunk on previously generated content. These models are structurally anchored to the first frame: its key-value representation occupies a privileged position in the attention cache and serves as the primary scene reference throughout generation. As the cleanest and most error-free position in the cache, this anchor draws disproportionate attention, suppressing video dynamics, and locking scene composition to the initial viewpoint even as the scene naturally evolves. The result is a temporally shallow video in which motion, camera movement, and scene progression are dampened in favor of static consistency. To address this, we replace the static anchor with an adaptive state, a hidden latent that the model denoises alongside content at every chunk but never renders. Rather than referencing a frozen first frame, the model generates its own scene anchor at each step by attending to both the previous state and the current content, producing a reference that evolves with the generated content. Unlike standard video generation, which encodes an absolute notion of time, our formulation treats time as relative: every generation step sees the same positional structure regardless of how far generation has progressed, and the state transition is identical at every chunk. Together, these properties introduce a recurrence into the generation process, where denoising serves as the transition function, and the KV cache serves as the carrier, requiring no external module. Experiments demonstrate that the adaptive state substantially improves video dynamics, enabling richer motion and natural scene progression within generated videos.