VideoFlexTok: 가변 길이 코스-투-파인 비디오 토큰화

초록

시각 토크나이저는 고차원 원본 픽셀을 다운스트림 모델링을 위해 압축된 표현으로 매핑합니다. 압축 기능을 넘어 토크나이저는 어떤 정보가 보존되고 어떻게 조직되는지를 결정합니다. 비디오 토큰화의 사실상 표준 접근법은 비디오를 공간-시간적 3D 그리드 형태의 토큰 집합으로 표현하는 것으로, 각 토큰은 원본 신호의 해당 지역 정보를 포착합니다. 이 방식은 토큰을 사용하는 다운스트림 모델(예: 텍스트-비디오 생성 모델)이 비디오의 내재적 복잡도와 무관하게 모든 저수준 세부 사항을 "픽셀 단위"로 예측하도록 학습해야 하므로 높은 학습 복잡도를 초래합니다. 본 논문에서는 VideoFlexTok를 제안합니다. 이는 비디오를 가변 길이의 토큰 시퀀스로 표현하며, 이 시퀀스는 coarse-to-fine 방식으로 구조화됩니다. 즉, 초기 토큰들은 (emergently) 의미론 및 운동과 같은 추상적 정보를 포착하고, 후속 토큰들이 미세한 세부 사항을 추가합니다. 생성 흐름 디코더는 임의의 토큰 개수로부터도 현실적인 비디오 복원을 가능하게 합니다. 이러한 표현 구조는 다운스트림 요구에 따라 토큰 개수를 조정하고, 동일한 예산으로 기준 방법보다 더 긴 비디오를 인코딩할 수 있게 합니다. VideoFlexTok를 클래스/텍스트-비디오 생성 과제에서 평가한 결과, 3D 그리드 토큰에 비해 더 효율적인 학습을 보여주었습니다. 예를 들어, 5배 더 작은 모델 크기(1.1B 대 5.2B)로도 비슷한 생성 품질(gFVD 및 ViCLIP Score)을 달성했습니다. 마지막으로, 비교 가능한 3D 그리드 토큰나이저보다 8배 적은 672개의 토큰만으로 10초 길이의 81프레임 비디오에 대한 텍스트-비디오 모델을 학습시켜, 과도한 계산 비용 없이도 긴 비디오 생성을 가능하게 하는 VideoFlexTok의潜力을 입증했습니다.

English

Visual tokenizers map high-dimensional raw pixels into a compressed representation for downstream modeling. Beyond compression, tokenizers dictate what information is preserved and how it is organized. A de facto standard approach to video tokenization is to represent a video as a spatiotemporal 3D grid of tokens, each capturing the corresponding local information in the original signal. This requires the downstream model that consumes the tokens, e.g., a text-to-video model, to learn to predict all low-level details "pixel-by-pixel" irrespective of the video's inherent complexity, leading to high learning complexity. We present VideoFlexTok, which represents videos with a variable-length sequence of tokens structured in a coarse-to-fine manner -- where the first tokens (emergently) capture abstract information, such as semantics and motion, and later tokens add fine-grained details. The generative flow decoder enables realistic video reconstructions from any token count. This representation structure allows adapting the token count according to downstream needs and encoding videos longer than the baselines with the same budget. We evaluate VideoFlexTok on class- and text-to-video generative tasks and show that it leads to more efficient training compared to 3D grid tokens, e.g., achieving comparable generation quality (gFVD and ViCLIP Score) with a 5x smaller model (1.1B vs 5.2B). Finally, we demonstrate how VideoFlexTok can enable long video generation without prohibitive computational cost by training a text-to-video model on 10-second 81-frame videos with only 672 tokens, 8x fewer than a comparable 3D grid tokenizer.

VideoFlexTok: 가변 길이 코스-투-파인 비디오 토큰화

VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

초록

Support