TTS-VAR: Ein Framework für Test-Zeit-Skalierung bei visueller autoregressiver Generierung

TTS-VAR: A Test-Time Scaling Framework for Visual Auto-Regressive Generation

July 24, 2025

papers.authors: Zhekai Chen, Ruihang Chu, Yukang Chen, Shiwei Zhang, Yujie Wei, Yingya Zhang, Xihui Liu

cs.AI

papers.abstract

Die Skalierung von Modellen zur visuellen Generierung ist entscheidend für die Erstellung von Inhalten in der realen Welt, erfordert jedoch erhebliche Trainings- und Rechenressourcen. Alternativ hat die Skalierung zur Testzeit aufgrund der Ressourceneffizienz und vielversprechender Leistung zunehmend Aufmerksamkeit erregt. In dieser Arbeit präsentieren wir TTS-VAR, das erste allgemeine Framework zur Testzeit-Skalierung für visuelle autoregressive (VAR) Modelle, das den Generierungsprozess als Pfadsuchproblem modelliert. Um die Recheneffizienz dynamisch mit der Explorationskapazität auszubalancieren, führen wir zunächst einen adaptiven absteigenden Batch-Größenplan während des kausalen Generierungsprozesses ein. Darüber hinaus, inspiriert durch die hierarchische Grob-zu-Fein-Mehrskalen-Generierung von VAR, integriert unser Framework zwei Schlüsselkomponenten: (i) Auf groben Skalen beobachten wir, dass generierte Tokens schwer zu bewerten sind, was möglicherweise zur fehlerhaften Akzeptanz von minderwertigen Proben oder zur Ablehnung von überlegenen Proben führt. Da wir feststellen, dass die groben Skalen ausreichend strukturelle Informationen enthalten, schlagen wir eine clusterbasierte Diversitätssuche vor. Diese bewahrt die strukturelle Vielfalt durch semantische Feature-Clustering und ermöglicht eine spätere Auswahl von Proben mit höherem Potenzial. (ii) In feinen Skalen priorisiert eine resampling-basierte Potenzialauswahl vielversprechende Kandidaten mithilfe von Potenzial-Scores, die als Belohnungsfunktionen definiert sind, die die Mehrskalen-Generierungsgeschichte einbeziehen. Experimente mit dem leistungsstarken VAR-Modell Infinity zeigen eine bemerkenswerte Verbesserung des GenEval-Scores um 8,7 % (von 0,69 auf 0,75). Wichtige Erkenntnisse zeigen, dass strukturelle Merkmale in frühen Phasen die Endqualität effektiv beeinflussen und die Wirksamkeit des Resamplings über die Generierungsskalen variiert. Der Code ist verfügbar unter https://github.com/ali-vilab/TTS-VAR.

English

Scaling visual generation models is essential for real-world content creation, yet requires substantial training and computational expenses. Alternatively, test-time scaling has garnered growing attention due to resource efficiency and promising performance. In this work, we present TTS-VAR, the first general test-time scaling framework for visual auto-regressive (VAR) models, modeling the generation process as a path searching problem. To dynamically balance computational efficiency with exploration capacity, we first introduce an adaptive descending batch size schedule throughout the causal generation process. Besides, inspired by VAR's hierarchical coarse-to-fine multi-scale generation, our framework integrates two key components: (i) At coarse scales, we observe that generated tokens are hard for evaluation, possibly leading to erroneous acceptance of inferior samples or rejection of superior samples. Noticing that the coarse scales contain sufficient structural information, we propose clustering-based diversity search. It preserves structural variety through semantic feature clustering, enabling later selection on samples with higher potential. (ii) In fine scales, resampling-based potential selection prioritizes promising candidates using potential scores, which are defined as reward functions incorporating multi-scale generation history. Experiments on the powerful VAR model Infinity show a notable 8.7% GenEval score improvement (from 0.69 to 0.75). Key insights reveal that early-stage structural features effectively influence final quality, and resampling efficacy varies across generation scales. Code is available at https://github.com/ali-vilab/TTS-VAR.