TokenTrim: Обрезка токенов во время вывода для авторегрессионного генерации длинных видео

TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation

January 30, 2026

Авторы: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf

cs.AI

Аннотация

Авторегрессионное генерирование видео позволяет синтезировать длинные видео за счет итеративного кондиционирования каждой новой партии кадров на ранее сгенерированном контенте. Однако недавние исследования показали, что такие конвейеры страдают от сильного временного дрейфа, когда ошибки накапливаются и усиливаются на длинных временных горизонтах. Мы выдвигаем гипотезу, что этот дрейф обусловлен не столько недостаточной емкостью модели, сколько распространением ошибок во время вывода. В частности, мы полагаем, что дрейф возникает из-за неконтролируемого повторного использования поврежденных латентных токенов кондиционирования в процессе авторегрессионного вывода. Для коррекции этого накопления ошибок мы предлагаем простой метод, применяемый на этапе вывода, который смягчает временной дрейф путем идентификации и удаления нестабильных латентных токенов до их повторного использования для кондиционирования. Для этого мы определяем нестабильные токены как латентные токены, чьи репрезентации значительно отклоняются от репрезентаций в ранее сгенерированной партии, что указывает на потенциальную поврежденность или семантический дрейф. Явно удаляя поврежденные латентные токены из авторегрессионного контекста, вместо изменения целых пространственных областей или параметров модели, наш метод предотвращает влияние ненадежной латентной информации на последующие шаги генерации. В результате это значительно улучшает временную согласованность на длинных горизонтах без модификации архитектуры модели, процедуры обучения или выхода из латентного пространства.

English

Auto-regressive video generation enables long video synthesis by iteratively conditioning each new batch of frames on previously generated content. However, recent work has shown that such pipelines suffer from severe temporal drift, where errors accumulate and amplify over long horizons. We hypothesize that this drift does not primarily stem from insufficient model capacity, but rather from inference-time error propagation. Specifically, we contend that drift arises from the uncontrolled reuse of corrupted latent conditioning tokens during auto-regressive inference. To correct this accumulation of errors, we propose a simple, inference-time method that mitigates temporal drift by identifying and removing unstable latent tokens before they are reused for conditioning. For this purpose, we define unstable tokens as latent tokens whose representations deviate significantly from those of the previously generated batch, indicating potential corruption or semantic drift. By explicitly removing corrupted latent tokens from the auto-regressive context, rather than modifying entire spatial regions or model parameters, our method prevents unreliable latent information from influencing future generation steps. As a result, it significantly improves long-horizon temporal consistency without modifying the model architecture, training procedure, or leaving latent space.