CaTok: Domando Fluxos Médios para Tokenização Causal Unidimensional de Imagens

CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization

March 6, 2026

Autores: Yitong Chen, Zuxuan Wu, Xipeng Qiu, Yu-Gang Jiang

cs.AI

Resumo

Os modelos de linguagem autoregressivos (AR) dependem de tokenização causal, mas estender este paradigma para a visão permanece não trivial. Os tokenizadores visuais atuais ou aplanam patches 2D em sequências não causais ou impõem ordenações heurísticas que se desalinh am do padrão de "previsão do próximo token". Os auto codificadores de difusão recentes igualmente ficam aquém: condicionar o decodificador em todos os tokens carece de causalidade, enquanto aplicar o mecanismo de *dropout* aninhado introduz desequilíbrio. Para enfrentar estes desafios, apresentamos o CaTok, um tokenizador de imagem causal 1D com um decodificador MeanFlow. Ao selecionar tokens em intervalos de tempo e vinculá-los ao objetivo MeanFlow, como ilustrado na Fig. 1, o CaTok aprende representações causais 1D que suportam tanto a geração rápida em uma etapa como a amostragem de alta fidelidade em múltiplas etapas, capturando naturalmente diversos conceitos visuais através dos intervalos de tokens. Para estabilizar e acelerar ainda mais o treino, propomos uma regularização direta REPA-A, que alinha as características do codificador com Modelos de Base de Visão (VFMs). Experiências demonstram que o CaTok alcança resultados de última geração na reconstrução do ImageNet, atingindo 0.75 FID, 22.53 PSNR e 0.674 SSIM com menos épocas de treino, e o modelo AR atinge um desempenho comparável às principais abordagens.

English

Autoregressive (AR) language models rely on causal tokenization, but extending this paradigm to vision remains non-trivial. Current visual tokenizers either flatten 2D patches into non-causal sequences or enforce heuristic orderings that misalign with the "next-token prediction" pattern. Recent diffusion autoencoders similarly fall short: conditioning the decoder on all tokens lacks causality, while applying nested dropout mechanism introduces imbalance. To address these challenges, we present CaTok, a 1D causal image tokenizer with a MeanFlow decoder. By selecting tokens over time intervals and binding them to the MeanFlow objective, as illustrated in Fig. 1, CaTok learns causal 1D representations that support both fast one-step generation and high-fidelity multi-step sampling, while naturally capturing diverse visual concepts across token intervals. To further stabilize and accelerate training, we propose a straightforward regularization REPA-A, which aligns encoder features with Vision Foundation Models (VFMs). Experiments demonstrate that CaTok achieves state-of-the-art results on ImageNet reconstruction, reaching 0.75 FID, 22.53 PSNR and 0.674 SSIM with fewer training epochs, and the AR model attains performance comparable to leading approaches.