4KAgent: Agente de Superresolución a 4K para Cualquier Imagen

Resumen

Presentamos 4KAgent, un sistema generalista unificado de super-resolución agentico diseñado para escalar universalmente cualquier imagen a resolución 4K (e incluso más alta, si se aplica de manera iterativa). Nuestro sistema puede transformar imágenes desde resoluciones extremadamente bajas con degradaciones severas, por ejemplo, entradas altamente distorsionadas a 256x256, en salidas 4K nítidas y fotorrealistas. 4KAgent consta de tres componentes principales: (1) Perfilado, un módulo que personaliza la pipeline de 4KAgent según casos de uso específicos; (2) Un Agente de Percepción, que aprovecha modelos de visión-lenguaje junto con expertos en evaluación de calidad de imagen para analizar la imagen de entrada y elaborar un plan de restauración personalizado; y (3) Un Agente de Restauración, que ejecuta el plan, siguiendo un paradigma de ejecución-reflexión recursiva, guiado por una política de mezcla de expertos impulsada por la calidad para seleccionar la salida óptima en cada paso. Además, 4KAgent incorpora una pipeline especializada de restauración facial, mejorando significativamente los detalles faciales en fotos de retrato y selfies. Evaluamos rigurosamente nuestro 4KAgent en 11 categorías de tareas distintas que abarcan un total de 26 benchmarks diversos, estableciendo nuevos estándares de vanguardia en un amplio espectro de dominios de imágenes. Nuestras evaluaciones cubren imágenes naturales, fotos de retrato, contenido generado por IA, imágenes satelitales, microscopía de fluorescencia e imágenes médicas como fundoscopía, ultrasonido y rayos X, demostrando un rendimiento superior tanto en términos de métricas perceptuales (por ejemplo, NIQE, MUSIQ) como de fidelidad (por ejemplo, PSNR). Al establecer un nuevo paradigma agentico para tareas de visión de bajo nivel, nuestro objetivo es catalizar un mayor interés e innovación en agentes autónomos centrados en la visión en diversas comunidades de investigación. Publicaremos todo el código, modelos y resultados en: https://4kagent.github.io.

English

We present 4KAgent, a unified agentic super-resolution generalist system designed to universally upscale any image to 4K resolution (and even higher, if applied iteratively). Our system can transform images from extremely low resolutions with severe degradations, for example, highly distorted inputs at 256x256, into crystal-clear, photorealistic 4K outputs. 4KAgent comprises three core components: (1) Profiling, a module that customizes the 4KAgent pipeline based on bespoke use cases; (2) A Perception Agent, which leverages vision-language models alongside image quality assessment experts to analyze the input image and make a tailored restoration plan; and (3) A Restoration Agent, which executes the plan, following a recursive execution-reflection paradigm, guided by a quality-driven mixture-of-expert policy to select the optimal output for each step. Additionally, 4KAgent embeds a specialized face restoration pipeline, significantly enhancing facial details in portrait and selfie photos. We rigorously evaluate our 4KAgent across 11 distinct task categories encompassing a total of 26 diverse benchmarks, setting new state-of-the-art on a broad spectrum of imaging domains. Our evaluations cover natural images, portrait photos, AI-generated content, satellite imagery, fluorescence microscopy, and medical imaging like fundoscopy, ultrasound, and X-ray, demonstrating superior performance in terms of both perceptual (e.g., NIQE, MUSIQ) and fidelity (e.g., PSNR) metrics. By establishing a novel agentic paradigm for low-level vision tasks, we aim to catalyze broader interest and innovation within vision-centric autonomous agents across diverse research communities. We will release all the code, models, and results at: https://4kagent.github.io.

4KAgent: Agente de Superresolución a 4K para Cualquier Imagen

4KAgent: Agentic Any Image to 4K Super-Resolution

Resumen

Support