TokenTrim : Élagage de Tokens en Temps d'Inférence pour la Génération Autoregressive de Vidéos Longues
TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation
January 30, 2026
papers.authors: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf
cs.AI
papers.abstract
La génération vidéo auto-régressive permet la synthèse de vidéos longues en conditionnant itérativement chaque nouveau lot d'images sur le contenu précédemment généré. Cependant, des travaux récents ont montré que ces pipelines souffrent d'une dérive temporelle importante, où les erreurs s'accumulent et s'amplifient sur de longues séquences. Nous émettons l'hypothèse que cette dérive ne provient pas principalement d'une capacité insuffisante du modèle, mais plutôt d'une propagation d'erreurs lors de l'inférence. Plus précisément, nous soutenons que la dérive résulte de la réutilisation non contrôlée de tokens latents corrompus pendant l'inférence auto-régressive. Pour corriger cette accumulation d'erreurs, nous proposons une méthode simple, opérant lors de l'inférence, qui atténue la dérive temporelle en identifiant et en supprimant les tokens latents instables avant leur réutilisation pour le conditionnement. À cette fin, nous définissons les tokens instables comme des tokens latents dont les représentations s'écartent significativement de celles du lot précédemment généré, indiquant une corruption potentielle ou une dérive sémantique. En supprimant explicitement les tokens latents corrompus du contexte auto-régressif, plutôt que de modifier des régions spatiales entières ou les paramètres du modèle, notre méthode empêche les informations latentes peu fiables d'influencer les étapes futures de génération. Par conséquent, elle améliore significativement la cohérence temporelle à long terme sans modifier l'architecture du modèle, la procédure d'entraînement, ni quitter l'espace latent.
English
Auto-regressive video generation enables long video synthesis by iteratively conditioning each new batch of frames on previously generated content. However, recent work has shown that such pipelines suffer from severe temporal drift, where errors accumulate and amplify over long horizons. We hypothesize that this drift does not primarily stem from insufficient model capacity, but rather from inference-time error propagation. Specifically, we contend that drift arises from the uncontrolled reuse of corrupted latent conditioning tokens during auto-regressive inference. To correct this accumulation of errors, we propose a simple, inference-time method that mitigates temporal drift by identifying and removing unstable latent tokens before they are reused for conditioning. For this purpose, we define unstable tokens as latent tokens whose representations deviate significantly from those of the previously generated batch, indicating potential corruption or semantic drift. By explicitly removing corrupted latent tokens from the auto-regressive context, rather than modifying entire spatial regions or model parameters, our method prevents unreliable latent information from influencing future generation steps. As a result, it significantly improves long-horizon temporal consistency without modifying the model architecture, training procedure, or leaving latent space.