Cadena de Zoom: Superresolución Extrema mediante Autoregresión de Escala y Alineación de Preferencias

Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment

May 24, 2025

Autores: Bryan Sangwoo Kim, Jeongsol Kim, Jong Chul Ye

cs.AI

Resumen

Los modelos modernos de super-resolución de una sola imagen (SISR, por sus siglas en inglés) ofrecen resultados foto-realistas en los factores de escala para los que han sido entrenados, pero colapsan cuando se les solicita ampliar más allá de ese régimen. Abordamos este cuello de botella de escalabilidad con Chain-of-Zoom (CoZ), un marco independiente del modelo que factoriza SISR en una cadena autorregresiva de estados de escala intermedios con indicaciones conscientes de múltiples escalas. CoZ reutiliza repetidamente un modelo de super-resolución base, descomponiendo la probabilidad condicional en subproblemas manejables para lograr resoluciones extremas sin necesidad de entrenamiento adicional. Dado que las pistas visuales disminuyen en ampliaciones elevadas, enriquecemos cada paso de zoom con indicaciones de texto conscientes de múltiples escalas generadas por un modelo de visión y lenguaje (VLM, por sus siglas en inglés). El extractor de indicaciones se ajusta mediante Optimización de Política de Recompensa Generalizada (GRPO, por sus siglas en inglés) con un VLM crítico, alineando la guía textual hacia las preferencias humanas. Los experimentos muestran que un modelo estándar de super-resolución por difusión de 4x envuelto en CoZ alcanza ampliaciones superiores a 256x con alta calidad perceptual y fidelidad. Página del proyecto: https://bryanswkim.github.io/chain-of-zoom/.

English

Modern single-image super-resolution (SISR) models deliver photo-realistic results at the scale factors on which they are trained, but collapse when asked to magnify far beyond that regime. We address this scalability bottleneck with Chain-of-Zoom (CoZ), a model-agnostic framework that factorizes SISR into an autoregressive chain of intermediate scale-states with multi-scale-aware prompts. CoZ repeatedly re-uses a backbone SR model, decomposing the conditional probability into tractable sub-problems to achieve extreme resolutions without additional training. Because visual cues diminish at high magnifications, we augment each zoom step with multi-scale-aware text prompts generated by a vision-language model (VLM). The prompt extractor itself is fine-tuned using Generalized Reward Policy Optimization (GRPO) with a critic VLM, aligning text guidance towards human preference. Experiments show that a standard 4x diffusion SR model wrapped in CoZ attains beyond 256x enlargement with high perceptual quality and fidelity. Project Page: https://bryanswkim.github.io/chain-of-zoom/ .