MilliVid: Иерархические латентные переменные для долгосрочной согласованности в генерации видео

Аннотация

Видеогенеративные модели становятся все более мощными, однако достижение долгосрочной согласованности остается сложной задачей, поскольку даже несколько десятков кадров требуют непрактично больших длин последовательностей трансформера. Мы показываем, что эту проблему можно смягчить, генерируя видео с помощью развертывания от грубого к точному в многомасштабном токеновом пространстве. Наш подход прост: сначала мы предварительно обучаем автоэнкодер, который сжимает каждый кадр в иерархию токенов, где уровни варьируются от типичного латентного разрешения до всего нескольких токенов на кадр. Наиболее грубые уровни захватывают самую важную информацию, такую как компоновка сцены и семантика, в то время как более тонкие уровни добавляют высокочастотный внешний вид и текстуру. Затем мы обучаем видеодиффузионную модель генерировать эти токены с помощью развертывания от грубого к точному. Тщательно контролируя уровень детализации, при котором кадры генерируются и используются в качестве контекста на каждом шаге развертывания, мы можем сохранять долгосрочную согласованность в геометрии и постоянство объектов, затрачивая при этом меньше вычислительных ресурсов на поддержание долгосрочной согласованности менее перцептивно значимых деталей. Мы проверяем этот подход на специальном наборе данных длинных видео Minecraft, где он дает существенно более согласованные развертывания по сравнению с существующими базовыми моделями.

English

Video generative models have become increasingly powerful, but long-range consistency remains challenging to achieve because even a few dozen frames require impractically long transformer sequence lengths. We show that this issue can be mitigated by generating video using coarse-to-fine rollout within a multi-scale token space. Our approach is simple: first, we pre-train an autoencoder that compresses each frame into a hierarchy of tokens, with levels ranging from the typical latent resolution to only a handful of tokens per frame. The coarsest levels capture the most consequential information, such as scene layout and semantics, while finer levels add high-frequency appearance and texture. Then, we train a video diffusion model to generate these tokens using coarse-to-fine rollout. By carefully controlling the level of detail at which frames are generated and used as context during each rollout step, we are able to preserve long-range consistency in geometry and object permanence while spending less compute on the long-range consistency of less perceptually relevant details. We validate this approach using a custom dataset of long Minecraft videos, where it produces substantially more consistent rollouts compared to existing baselines.