TokenTrim: Poda de Tokens en Tiempo de Inferencia para la Generación Autoregresiva de Videos Largos

TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation

January 30, 2026

Autores: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf

cs.AI

Resumen

La generación autoregresiva de vídeo permite la síntesis de vídeos largos condicionando iterativamente cada nuevo lote de fotogramas en el contenido generado previamente. Sin embargo, trabajos recientes han demostrado que tales arquitecturas sufren de una severa deriva temporal, donde los errores se acumulan y amplifican a lo largo de horizontes largos. Nuestra hipótesis es que esta deriva no se origina principalmente por una capacidad insuficiente del modelo, sino por la propagación de errores en tiempo de inferencia. Específicamente, sostenemos que la deriva surge de la reutilización incontrolada de tokens latentes de condicionamiento corruptos durante la inferencia autoregresiva. Para corregir esta acumulación de errores, proponemos un método simple, aplicable en tiempo de inferencia, que mitiga la deriva temporal identificando y eliminando los tokens latentes inestables antes de que sean reutilizados para el condicionamiento. Para ello, definimos los tokens inestables como aquellos tokens latentes cuyas representaciones se desvían significativamente de las del lote generado previamente, lo que indica una posible corrupción o deriva semántica. Al eliminar explícitamente los tokens latentes corruptos del contexto autoregresivo, en lugar de modificar regiones espaciales completas o los parámetros del modelo, nuestro método evita que información latente no fiable influya en los pasos futuros de generación. Como resultado, mejora significativamente la consistencia temporal en horizontes largos sin modificar la arquitectura del modelo, el procedimiento de entrenamiento o abandonar el espacio latente.

English

Auto-regressive video generation enables long video synthesis by iteratively conditioning each new batch of frames on previously generated content. However, recent work has shown that such pipelines suffer from severe temporal drift, where errors accumulate and amplify over long horizons. We hypothesize that this drift does not primarily stem from insufficient model capacity, but rather from inference-time error propagation. Specifically, we contend that drift arises from the uncontrolled reuse of corrupted latent conditioning tokens during auto-regressive inference. To correct this accumulation of errors, we propose a simple, inference-time method that mitigates temporal drift by identifying and removing unstable latent tokens before they are reused for conditioning. For this purpose, we define unstable tokens as latent tokens whose representations deviate significantly from those of the previously generated batch, indicating potential corruption or semantic drift. By explicitly removing corrupted latent tokens from the auto-regressive context, rather than modifying entire spatial regions or model parameters, our method prevents unreliable latent information from influencing future generation steps. As a result, it significantly improves long-horizon temporal consistency without modifying the model architecture, training procedure, or leaving latent space.