TokenTrim: Potatura dei Token al Momento dell'Inferenza per la Generazione Autoregressiva di Video Lunghi
TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation
January 30, 2026
Autori: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf
cs.AI
Abstract
La generazione video auto-regressiva consente la sintesi di video lunghi condizionando iterativamente ogni nuovo gruppo di fotogrammi sul contenuto generato in precedenza. Tuttavia, studi recenti hanno dimostrato che tali pipeline soffrono di una deriva temporale significativa, in cui gli errori si accumulano e si amplificano su orizzonti lunghi. Ipotesizziamo che questa deriva non derivi principalmente da una capacità del modello insufficiente, ma piuttosto dalla propagazione degli errori in fase di inferenza. Nello specifico, sosteniamo che la deriva origini dal riutilizzo non controllato di token latenti di condizionamento corrotti durante l'inferenza auto-regressiva. Per correggere questo accumulo di errori, proponiamo un metodo semplice, applicabile in fase di inferenza, che mitiga la deriva temporale identificando e rimuovendo i token latenti instabili prima che vengano riutilizzati per il condizionamento. A tal fine, definiamo token instabili quei token latenti le cui rappresentazioni si discostano significativamente da quelle del gruppo generato in precedenza, indicando una potenziale corruzione o deriva semantica. Rimuovendo esplicitamente i token latenti corrotti dal contesto auto-regressivo, invece di modificare intere regioni spaziali o i parametri del modello, il nostro metodo impedisce che informazioni latenti inaffidabili influenzino i passi di generazione futuri. Di conseguenza, migliora significativamente la coerenza temporale su orizzonti lunghi senza modificare l'architettura del modello, la procedura di addestramento o lo spazio latente.
English
Auto-regressive video generation enables long video synthesis by iteratively conditioning each new batch of frames on previously generated content. However, recent work has shown that such pipelines suffer from severe temporal drift, where errors accumulate and amplify over long horizons. We hypothesize that this drift does not primarily stem from insufficient model capacity, but rather from inference-time error propagation. Specifically, we contend that drift arises from the uncontrolled reuse of corrupted latent conditioning tokens during auto-regressive inference. To correct this accumulation of errors, we propose a simple, inference-time method that mitigates temporal drift by identifying and removing unstable latent tokens before they are reused for conditioning. For this purpose, we define unstable tokens as latent tokens whose representations deviate significantly from those of the previously generated batch, indicating potential corruption or semantic drift. By explicitly removing corrupted latent tokens from the auto-regressive context, rather than modifying entire spatial regions or model parameters, our method prevents unreliable latent information from influencing future generation steps. As a result, it significantly improves long-horizon temporal consistency without modifying the model architecture, training procedure, or leaving latent space.