TTS-VAR : Un cadre de mise à l'échelle au moment du test pour la génération visuelle auto-régressive

TTS-VAR: A Test-Time Scaling Framework for Visual Auto-Regressive Generation

July 24, 2025

papers.authors: Zhekai Chen, Ruihang Chu, Yukang Chen, Shiwei Zhang, Yujie Wei, Yingya Zhang, Xihui Liu

cs.AI

papers.abstract

La mise à l'échelle des modèles de génération visuelle est essentielle pour la création de contenu dans le monde réel, mais elle nécessite des coûts substantiels en termes d'entraînement et de calcul. Alternativement, la mise à l'échelle au moment du test a suscité un intérêt croissant en raison de son efficacité en ressources et de ses performances prometteuses. Dans ce travail, nous présentons TTS-VAR, le premier cadre général de mise à l'échelle au moment du test pour les modèles visuels auto-régressifs (VAR), modélisant le processus de génération comme un problème de recherche de chemin. Pour équilibrer dynamiquement l'efficacité computationnelle avec la capacité d'exploration, nous introduisons d'abord un plan de taille de lot descendant adaptatif tout au long du processus de génération causale. En outre, inspiré par la génération multi-échelle hiérarchique allant du grossier au fin des VAR, notre cadre intègre deux composants clés : (i) Aux échelles grossières, nous observons que les tokens générés sont difficiles à évaluer, ce qui peut conduire à l'acceptation erronée d'échantillons inférieurs ou au rejet d'échantillons supérieurs. En remarquant que les échelles grossières contiennent suffisamment d'informations structurelles, nous proposons une recherche de diversité basée sur le clustering. Elle préserve la variété structurelle grâce au clustering des caractéristiques sémantiques, permettant une sélection ultérieure d'échantillons ayant un potentiel plus élevé. (ii) Aux échelles fines, la sélection de potentiel basée sur le rééchantillonnage priorise les candidats prometteurs en utilisant des scores de potentiel, définis comme des fonctions de récompense incorporant l'historique de génération multi-échelle. Les expériences sur le puissant modèle VAR Infinity montrent une amélioration notable de 8,7 % du score GenEval (de 0,69 à 0,75). Les insights clés révèlent que les caractéristiques structurelles des premiers stades influencent efficacement la qualité finale, et que l'efficacité du rééchantillonnage varie selon les échelles de génération. Le code est disponible à l'adresse https://github.com/ali-vilab/TTS-VAR.

English

Scaling visual generation models is essential for real-world content creation, yet requires substantial training and computational expenses. Alternatively, test-time scaling has garnered growing attention due to resource efficiency and promising performance. In this work, we present TTS-VAR, the first general test-time scaling framework for visual auto-regressive (VAR) models, modeling the generation process as a path searching problem. To dynamically balance computational efficiency with exploration capacity, we first introduce an adaptive descending batch size schedule throughout the causal generation process. Besides, inspired by VAR's hierarchical coarse-to-fine multi-scale generation, our framework integrates two key components: (i) At coarse scales, we observe that generated tokens are hard for evaluation, possibly leading to erroneous acceptance of inferior samples or rejection of superior samples. Noticing that the coarse scales contain sufficient structural information, we propose clustering-based diversity search. It preserves structural variety through semantic feature clustering, enabling later selection on samples with higher potential. (ii) In fine scales, resampling-based potential selection prioritizes promising candidates using potential scores, which are defined as reward functions incorporating multi-scale generation history. Experiments on the powerful VAR model Infinity show a notable 8.7% GenEval score improvement (from 0.69 to 0.75). Key insights reveal that early-stage structural features effectively influence final quality, and resampling efficacy varies across generation scales. Code is available at https://github.com/ali-vilab/TTS-VAR.