TokenTrim: Inferenzzeit-Token-Reduzierung für autoregressive Langvideogenerierung

TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation

January 30, 2026

papers.authors: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf

cs.AI

papers.abstract

Autoregressive Videogenerierung ermöglicht die Synthese langer Videos, indem jeder neue Frame-Batch iterativ auf zuvor generierten Inhalten konditioniert wird. Jüngste Arbeiten haben jedoch gezeigt, dass solche Pipelines unter erheblicher zeitlicher Drift leiden, bei der sich Fehler über lange Zeiträume akkumulieren und verstärken. Wir stellen die Hypothese auf, dass diese Drift nicht primär auf unzureichende Modellkapazität zurückzuführen ist, sondern vielmehr auf Fehlerfortpflanzung zur Inferenzzeit. Konkret vertreten wir die Auffassung, dass die Drift durch die unkontrollierte Wiederverwendung korrumpierter latenter Konditionierungstoken während des autoregressiven Inferenzvorgangs entsteht. Um diese Fehlerakkumulation zu korrigieren, schlagen wir eine einfache Methode zur Inferenzzeit vor, die zeitliche Drift abmildert, indem instabile latente Token identifiziert und entfernt werden, bevor sie zur Konditionierung wiederverwendet werden. Zu diesem Zweck definieren wir instabile Token als latente Token, deren Repräsentationen signifikant von denen des zuvor generierten Batches abweichen, was auf potenzielle Korruption oder semantische Drift hindeutet. Indem unsere Methode explizit korrumpierte latente Token aus dem autoregressiven Kontext entfernt, anstatt gesamte räumliche Regionen oder Modellparameter zu modifizieren, verhindert sie, dass unzuverlässige latente Informationen zukünftige Generierungsschritte beeinflussen. Infolgedessen verbessert sie die zeitliche Konsistenz über lange Horizonte signifikant, ohne die Modellarchitektur, das Trainingsverfahren zu verändern oder den latenten Raum zu verlassen.

English

Auto-regressive video generation enables long video synthesis by iteratively conditioning each new batch of frames on previously generated content. However, recent work has shown that such pipelines suffer from severe temporal drift, where errors accumulate and amplify over long horizons. We hypothesize that this drift does not primarily stem from insufficient model capacity, but rather from inference-time error propagation. Specifically, we contend that drift arises from the uncontrolled reuse of corrupted latent conditioning tokens during auto-regressive inference. To correct this accumulation of errors, we propose a simple, inference-time method that mitigates temporal drift by identifying and removing unstable latent tokens before they are reused for conditioning. For this purpose, we define unstable tokens as latent tokens whose representations deviate significantly from those of the previously generated batch, indicating potential corruption or semantic drift. By explicitly removing corrupted latent tokens from the auto-regressive context, rather than modifying entire spatial regions or model parameters, our method prevents unreliable latent information from influencing future generation steps. As a result, it significantly improves long-horizon temporal consistency without modifying the model architecture, training procedure, or leaving latent space.