4KAgent: Агентное преобразование любого изображения в сверхвысокое разрешение 4K

Аннотация

Мы представляем 4KAgent — универсальную агентскую систему для супер-разрешения, способную масштабировать любое изображение до разрешения 4K (и даже выше при итеративном применении). Наша система способна преобразовывать изображения с крайне низким разрешением и сильными искажениями, например, сильно деградированные входные данные размером 256x256, в кристально чистые, фотореалистичные изображения 4K. 4KAgent состоит из трех ключевых компонентов: (1) Профилирование — модуль, который настраивает конвейер 4KAgent в зависимости от конкретных задач; (2) Агент восприятия, использующий модели, объединяющие зрение и язык, а также экспертов по оценке качества изображений для анализа входного изображения и создания индивидуального плана восстановления; и (3) Агент восстановления, который выполняет план, следуя рекурсивной парадигме выполнения-рефлексии, руководствуясь политикой смеси экспертов, ориентированной на качество, для выбора оптимального результата на каждом шаге. Кроме того, 4KAgent включает специализированный конвейер для восстановления лиц, значительно улучшающий детализацию в портретах и селфи. Мы тщательно оценили 4KAgent на 11 различных категориях задач, охватывающих 26 разнообразных бенчмарков, установив новые рекорды в широком спектре областей обработки изображений. Наши оценки охватывают натуральные изображения, портретные фото, контент, созданный ИИ, спутниковые снимки, флуоресцентную микроскопию и медицинские изображения, такие как фундоскопия, ультразвук и рентген, демонстрируя превосходную производительность как по перцептивным (например, NIQE, MUSIQ), так и по метрикам точности (например, PSNR). Устанавливая новую агентскую парадигму для задач низкоуровневого зрения, мы стремимся стимулировать более широкий интерес и инновации в области автономных агентов, ориентированных на зрение, в различных исследовательских сообществах. Мы опубликуем весь код, модели и результаты по адресу: https://4kagent.github.io.

English

We present 4KAgent, a unified agentic super-resolution generalist system designed to universally upscale any image to 4K resolution (and even higher, if applied iteratively). Our system can transform images from extremely low resolutions with severe degradations, for example, highly distorted inputs at 256x256, into crystal-clear, photorealistic 4K outputs. 4KAgent comprises three core components: (1) Profiling, a module that customizes the 4KAgent pipeline based on bespoke use cases; (2) A Perception Agent, which leverages vision-language models alongside image quality assessment experts to analyze the input image and make a tailored restoration plan; and (3) A Restoration Agent, which executes the plan, following a recursive execution-reflection paradigm, guided by a quality-driven mixture-of-expert policy to select the optimal output for each step. Additionally, 4KAgent embeds a specialized face restoration pipeline, significantly enhancing facial details in portrait and selfie photos. We rigorously evaluate our 4KAgent across 11 distinct task categories encompassing a total of 26 diverse benchmarks, setting new state-of-the-art on a broad spectrum of imaging domains. Our evaluations cover natural images, portrait photos, AI-generated content, satellite imagery, fluorescence microscopy, and medical imaging like fundoscopy, ultrasound, and X-ray, demonstrating superior performance in terms of both perceptual (e.g., NIQE, MUSIQ) and fidelity (e.g., PSNR) metrics. By establishing a novel agentic paradigm for low-level vision tasks, we aim to catalyze broader interest and innovation within vision-centric autonomous agents across diverse research communities. We will release all the code, models, and results at: https://4kagent.github.io.

4KAgent: Агентное преобразование любого изображения в сверхвысокое разрешение 4K

4KAgent: Agentic Any Image to 4K Super-Resolution

Аннотация

Support