Chain-of-Zoom: Экстремальное сверхвысокое разрешение через масштабную авторегрессию и согласование предпочтений

Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment

May 24, 2025

Авторы: Bryan Sangwoo Kim, Jeongsol Kim, Jong Chul Ye

cs.AI

Аннотация

Современные модели супер-разрешения на основе одного изображения (SISR) обеспечивают фотореалистичные результаты для масштабных коэффициентов, на которых они обучены, но терпят неудачу при попытке увеличения далеко за пределы этого диапазона. Мы решаем эту проблему масштабируемости с помощью Chain-of-Zoom (CoZ), модели-агностической структуры, которая разбивает SISR на авторегрессивную цепочку промежуточных масштабных состояний с использованием многоуровневых подсказок. CoZ многократно повторно использует базовую модель супер-разрешения, разлагая условную вероятность на решаемые подзадачи для достижения экстремальных разрешений без дополнительного обучения. Поскольку визуальные подсказки уменьшаются при высоком увеличении, мы дополняем каждый шаг увеличения многоуровневыми текстовыми подсказками, генерируемыми моделью "визуальный язык" (VLM). Сам экстрактор подсказок дорабатывается с использованием оптимизации политики обобщённого вознаграждения (GRPO) с критической VLM, согласовывая текстовые рекомендации с предпочтениями человека. Эксперименты показывают, что стандартная 4x диффузионная модель супер-разрешения, обёрнутая в CoZ, достигает увеличения более чем в 256 раз с высокой перцептивной качеством и точностью. Страница проекта: https://bryanswkim.github.io/chain-of-zoom/.

English

Modern single-image super-resolution (SISR) models deliver photo-realistic results at the scale factors on which they are trained, but collapse when asked to magnify far beyond that regime. We address this scalability bottleneck with Chain-of-Zoom (CoZ), a model-agnostic framework that factorizes SISR into an autoregressive chain of intermediate scale-states with multi-scale-aware prompts. CoZ repeatedly re-uses a backbone SR model, decomposing the conditional probability into tractable sub-problems to achieve extreme resolutions without additional training. Because visual cues diminish at high magnifications, we augment each zoom step with multi-scale-aware text prompts generated by a vision-language model (VLM). The prompt extractor itself is fine-tuned using Generalized Reward Policy Optimization (GRPO) with a critic VLM, aligning text guidance towards human preference. Experiments show that a standard 4x diffusion SR model wrapped in CoZ attains beyond 256x enlargement with high perceptual quality and fidelity. Project Page: https://bryanswkim.github.io/chain-of-zoom/ .