4KAgent: Agente de Super-Resolução para Qualquer Imagem em 4K

4KAgent: Agentic Any Image to 4K Super-Resolution

July 9, 2025

Autores: Yushen Zuo, Qi Zheng, Mingyang Wu, Xinrui Jiang, Renjie Li, Jian Wang, Yide Zhang, Gengchen Mai, Lihong V. Wang, James Zou, Xiaoyu Wang, Ming-Hsuan Yang, Zhengzhong Tu

cs.AI

Resumo

Apresentamos o 4KAgent, um sistema generalista unificado de super-resolução agentivo projetado para universalmente ampliar qualquer imagem para resolução 4K (e até mesmo maior, se aplicado iterativamente). Nosso sistema pode transformar imagens de resoluções extremamente baixas com degradações severas, por exemplo, entradas altamente distorcidas em 256x256, em saídas 4K nítidas e foto-realistas. O 4KAgent compreende três componentes principais: (1) Perfilamento, um módulo que personaliza o pipeline do 4KAgent com base em casos de uso específicos; (2) Um Agente de Percepção, que aproveita modelos visão-linguagem juntamente com especialistas em avaliação de qualidade de imagem para analisar a imagem de entrada e criar um plano de restauração personalizado; e (3) Um Agente de Restauração, que executa o plano, seguindo um paradigma de execução-reflexão recursiva, orientado por uma política de mistura de especialistas baseada em qualidade para selecionar a saída ideal em cada etapa. Além disso, o 4KAgent incorpora um pipeline especializado de restauração facial, aprimorando significativamente os detalhes faciais em fotos de retrato e selfies. Avaliamos rigorosamente nosso 4KAgent em 11 categorias distintas de tarefas, abrangendo um total de 26 benchmarks diversos, estabelecendo novos estados da arte em um amplo espectro de domínios de imagem. Nossas avaliações cobrem imagens naturais, fotos de retrato, conteúdo gerado por IA, imagens de satélite, microscopia de fluorescência e imagens médicas como fundoscopia, ultrassom e raio-X, demonstrando desempenho superior tanto em termos de métricas perceptuais (por exemplo, NIQE, MUSIQ) quanto de fidelidade (por exemplo, PSNR). Ao estabelecer um novo paradigma agentivo para tarefas de visão de baixo nível, visamos catalisar um interesse mais amplo e inovação em agentes autônomos centrados em visão em diversas comunidades de pesquisa. Liberaremos todo o código, modelos e resultados em: https://4kagent.github.io.

English

We present 4KAgent, a unified agentic super-resolution generalist system designed to universally upscale any image to 4K resolution (and even higher, if applied iteratively). Our system can transform images from extremely low resolutions with severe degradations, for example, highly distorted inputs at 256x256, into crystal-clear, photorealistic 4K outputs. 4KAgent comprises three core components: (1) Profiling, a module that customizes the 4KAgent pipeline based on bespoke use cases; (2) A Perception Agent, which leverages vision-language models alongside image quality assessment experts to analyze the input image and make a tailored restoration plan; and (3) A Restoration Agent, which executes the plan, following a recursive execution-reflection paradigm, guided by a quality-driven mixture-of-expert policy to select the optimal output for each step. Additionally, 4KAgent embeds a specialized face restoration pipeline, significantly enhancing facial details in portrait and selfie photos. We rigorously evaluate our 4KAgent across 11 distinct task categories encompassing a total of 26 diverse benchmarks, setting new state-of-the-art on a broad spectrum of imaging domains. Our evaluations cover natural images, portrait photos, AI-generated content, satellite imagery, fluorescence microscopy, and medical imaging like fundoscopy, ultrasound, and X-ray, demonstrating superior performance in terms of both perceptual (e.g., NIQE, MUSIQ) and fidelity (e.g., PSNR) metrics. By establishing a novel agentic paradigm for low-level vision tasks, we aim to catalyze broader interest and innovation within vision-centric autonomous agents across diverse research communities. We will release all the code, models, and results at: https://4kagent.github.io.