TTS-VAR: Un Framework di Scalatura al Momento del Test per la Generazione Visuale Auto-Regressiva

TTS-VAR: A Test-Time Scaling Framework for Visual Auto-Regressive Generation

July 24, 2025

Autori: Zhekai Chen, Ruihang Chu, Yukang Chen, Shiwei Zhang, Yujie Wei, Yingya Zhang, Xihui Liu

cs.AI

Abstract

Il ridimensionamento dei modelli di generazione visiva è essenziale per la creazione di contenuti nel mondo reale, ma richiede costi di addestramento e computazionali sostanziali. In alternativa, il ridimensionamento al momento del test ha attirato crescente attenzione grazie all'efficienza delle risorse e alle prestazioni promettenti. In questo lavoro, presentiamo TTS-VAR, il primo framework generale di ridimensionamento al momento del test per modelli visivi auto-regressivi (VAR), modellando il processo di generazione come un problema di ricerca di percorsi. Per bilanciare dinamicamente l'efficienza computazionale con la capacità di esplorazione, introduciamo prima una pianificazione adattiva della dimensione del batch decrescente durante il processo di generazione causale. Inoltre, ispirati dalla generazione multi-scala gerarchica dal grossolano al fine dei VAR, il nostro framework integra due componenti chiave: (i) Alle scale grossolane, osserviamo che i token generati sono difficili da valutare, potendo portare all'accettazione errata di campioni inferiori o al rifiuto di campioni superiori. Notando che le scale grossolane contengono sufficienti informazioni strutturali, proponiamo una ricerca della diversità basata sul clustering. Questa preserva la varietà strutturale attraverso il clustering di caratteristiche semantiche, consentendo una successiva selezione di campioni con maggiore potenziale. (ii) Alle scale fini, la selezione del potenziale basata sul ricampionamento dà priorità ai candidati promettenti utilizzando punteggi di potenziale, definiti come funzioni di ricompensa che incorporano la storia della generazione multi-scala. Gli esperimenti sul potente modello VAR Infinity mostrano un miglioramento significativo dell'8.7% nel punteggio GenEval (da 0.69 a 0.75). Le intuizioni chiave rivelano che le caratteristiche strutturali nelle fasi iniziali influenzano efficacemente la qualità finale e che l'efficacia del ricampionamento varia tra le scale di generazione. Il codice è disponibile all'indirizzo https://github.com/ali-vilab/TTS-VAR.

English

Scaling visual generation models is essential for real-world content creation, yet requires substantial training and computational expenses. Alternatively, test-time scaling has garnered growing attention due to resource efficiency and promising performance. In this work, we present TTS-VAR, the first general test-time scaling framework for visual auto-regressive (VAR) models, modeling the generation process as a path searching problem. To dynamically balance computational efficiency with exploration capacity, we first introduce an adaptive descending batch size schedule throughout the causal generation process. Besides, inspired by VAR's hierarchical coarse-to-fine multi-scale generation, our framework integrates two key components: (i) At coarse scales, we observe that generated tokens are hard for evaluation, possibly leading to erroneous acceptance of inferior samples or rejection of superior samples. Noticing that the coarse scales contain sufficient structural information, we propose clustering-based diversity search. It preserves structural variety through semantic feature clustering, enabling later selection on samples with higher potential. (ii) In fine scales, resampling-based potential selection prioritizes promising candidates using potential scores, which are defined as reward functions incorporating multi-scale generation history. Experiments on the powerful VAR model Infinity show a notable 8.7% GenEval score improvement (from 0.69 to 0.75). Key insights reveal that early-stage structural features effectively influence final quality, and resampling efficacy varies across generation scales. Code is available at https://github.com/ali-vilab/TTS-VAR.