TokenTrim: Inferentietijd-tokenpruning voor autoregressieve lange videogeneratie
TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation
January 30, 2026
Auteurs: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf
cs.AI
Samenvatting
Autoregressieve videogeneratie maakt lange videosynthese mogelijk door elke nieuwe reeks frames iteratief te conditioneren op eerder gegenereerde inhoud. Recent onderzoek heeft echter aangetoond dat dergelijke pijplijnen lijden onder ernstige temporele drift, waarbij fouten zich over lange tijdshorizonten opstapelen en versterken. Wij veronderstellen dat deze drift niet primair voortkomt uit onvoldoende modelcapaciteit, maar veeleer uit foutpropagatie tijdens de inferentiefase. Concreet stellen wij dat drift ontstaat door het ongecontroleerde hergebruik van gecorrumpeerde latente conditioneringstokens tijdens autoregressieve inferentie. Om deze opeenstapeling van fouten te corrigeren, stellen wij een eenvoudige methode voor tijdens de inferentie die temporele drift vermindert door onstabiele latente tokens te identificeren en te verwijderen voordat ze worden hergebruikt voor conditionering. Hiertoe definiëren wij onstabiele tokens als latente tokens waarvan de representaties significant afwijken van die van de eerder gegenereerde reeks, wat duidt op mogelijke corruptie of semantische drift. Door expliciet gecorrumpeerde latente tokens uit de autoregressieve context te verwijderen, in plaats van hele ruimtelijke regio's of modelparameters aan te passen, voorkomt onze methode dat onbetrouwbare latente informatie toekomstige generatiestappen beïnvloedt. Het resultaat is een aanzienlijke verbetering van de temporele consistentie over lange horizonnen, zonder aanpassing van de modelarchitectuur, trainingsprocedure of het verlaten van de latente ruimte.
English
Auto-regressive video generation enables long video synthesis by iteratively conditioning each new batch of frames on previously generated content. However, recent work has shown that such pipelines suffer from severe temporal drift, where errors accumulate and amplify over long horizons. We hypothesize that this drift does not primarily stem from insufficient model capacity, but rather from inference-time error propagation. Specifically, we contend that drift arises from the uncontrolled reuse of corrupted latent conditioning tokens during auto-regressive inference. To correct this accumulation of errors, we propose a simple, inference-time method that mitigates temporal drift by identifying and removing unstable latent tokens before they are reused for conditioning. For this purpose, we define unstable tokens as latent tokens whose representations deviate significantly from those of the previously generated batch, indicating potential corruption or semantic drift. By explicitly removing corrupted latent tokens from the auto-regressive context, rather than modifying entire spatial regions or model parameters, our method prevents unreliable latent information from influencing future generation steps. As a result, it significantly improves long-horizon temporal consistency without modifying the model architecture, training procedure, or leaving latent space.