Chain-of-Zoom: Super-Risoluzione Estrema tramite Autoregressione di Scala e Allineamento delle Preferenze

Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment

May 24, 2025

Autori: Bryan Sangwoo Kim, Jeongsol Kim, Jong Chul Ye

cs.AI

Abstract

I moderni modelli di super-risoluzione su singola immagine (SISR) forniscono risultati fotorealistici sui fattori di scala su cui sono addestrati, ma collassano quando viene chiesto loro di ingrandire ben oltre tale regime. Affrontiamo questo collo di bottiglia di scalabilità con Chain-of-Zoom (CoZ), un framework indipendente dal modello che scompone la SISR in una catena autoregressiva di stati di scala intermedi con prompt multi-scala. CoZ riutilizza ripetutamente un modello SR di base, scomponendo la probabilità condizionale in sottoproblemi trattabili per raggiungere risoluzioni estreme senza ulteriore addestramento. Poiché gli indizi visivi si riducono ad alti ingrandimenti, arricchiamo ogni passaggio di zoom con prompt testuali multi-scala generati da un modello visione-linguaggio (VLM). L'estrattore di prompt stesso viene messo a punto utilizzando l'ottimizzazione delle politiche di ricompensa generalizzata (GRPO) con un VLM critico, allineando la guida testuale alle preferenze umane. Gli esperimenti dimostrano che un modello standard di super-risoluzione diffusa 4x integrato in CoZ raggiunge ingrandimenti oltre 256x con alta qualità percettiva e fedeltà. Pagina del progetto: https://bryanswkim.github.io/chain-of-zoom/.

English

Modern single-image super-resolution (SISR) models deliver photo-realistic results at the scale factors on which they are trained, but collapse when asked to magnify far beyond that regime. We address this scalability bottleneck with Chain-of-Zoom (CoZ), a model-agnostic framework that factorizes SISR into an autoregressive chain of intermediate scale-states with multi-scale-aware prompts. CoZ repeatedly re-uses a backbone SR model, decomposing the conditional probability into tractable sub-problems to achieve extreme resolutions without additional training. Because visual cues diminish at high magnifications, we augment each zoom step with multi-scale-aware text prompts generated by a vision-language model (VLM). The prompt extractor itself is fine-tuned using Generalized Reward Policy Optimization (GRPO) with a critic VLM, aligning text guidance towards human preference. Experiments show that a standard 4x diffusion SR model wrapped in CoZ attains beyond 256x enlargement with high perceptual quality and fidelity. Project Page: https://bryanswkim.github.io/chain-of-zoom/ .