Chain-of-Zoom: Super-Resolução Extrema via Autoregressão de Escala e Alinhamento de Preferências

Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment

May 24, 2025

Autores: Bryan Sangwoo Kim, Jeongsol Kim, Jong Chul Ye

cs.AI

Resumo

Os modelos modernos de super-resolução de imagem única (SISR) fornecem resultados foto-realistas nos fatores de escala para os quais foram treinados, mas falham quando solicitados a ampliar muito além desse regime. Abordamos esse gargalo de escalabilidade com o Chain-of-Zoom (CoZ), uma estrutura agnóstica de modelos que fatora o SISR em uma cadeia autoregressiva de estados de escala intermediários com prompts conscientes de múltiplas escalas. O CoZ reutiliza repetidamente um modelo SR de base, decompondo a probabilidade condicional em subproblemas tratáveis para alcançar resoluções extremas sem treinamento adicional. Como os indicadores visuais diminuem em altas ampliações, aumentamos cada etapa de zoom com prompts de texto conscientes de múltiplas escalas gerados por um modelo de visão e linguagem (VLM). O extrator de prompts em si é ajustado usando Generalized Reward Policy Optimization (GRPO) com um VLM crítico, alinhando a orientação textual com a preferência humana. Experimentos mostram que um modelo de SR por difusão 4x encapsulado no CoZ atinge ampliações além de 256x com alta qualidade perceptual e fidelidade. Página do Projeto: https://bryanswkim.github.io/chain-of-zoom/ .

English

Modern single-image super-resolution (SISR) models deliver photo-realistic results at the scale factors on which they are trained, but collapse when asked to magnify far beyond that regime. We address this scalability bottleneck with Chain-of-Zoom (CoZ), a model-agnostic framework that factorizes SISR into an autoregressive chain of intermediate scale-states with multi-scale-aware prompts. CoZ repeatedly re-uses a backbone SR model, decomposing the conditional probability into tractable sub-problems to achieve extreme resolutions without additional training. Because visual cues diminish at high magnifications, we augment each zoom step with multi-scale-aware text prompts generated by a vision-language model (VLM). The prompt extractor itself is fine-tuned using Generalized Reward Policy Optimization (GRPO) with a critic VLM, aligning text guidance towards human preference. Experiments show that a standard 4x diffusion SR model wrapped in CoZ attains beyond 256x enlargement with high perceptual quality and fidelity. Project Page: https://bryanswkim.github.io/chain-of-zoom/ .