4KAgent : Agentivité pour la super-résolution 4K de n'importe quelle image

papers.abstract

Nous présentons 4KAgent, un système généraliste unifié de super-résolution agentique conçu pour augmenter universellement la résolution de n'importe quelle image à 4K (et même au-delà, si appliqué de manière itérative). Notre système peut transformer des images de résolutions extrêmement basses avec des dégradations sévères, par exemple des entrées fortement distordues à 256x256, en sorties 4K nettes et photoréalistes. 4KAgent comprend trois composants principaux : (1) Profilage, un module qui personnalise le pipeline de 4KAgent en fonction de cas d'utilisation spécifiques ; (2) Un Agent de Perception, qui exploite des modèles vision-langage ainsi que des experts en évaluation de la qualité d'image pour analyser l'image d'entrée et élaborer un plan de restauration sur mesure ; et (3) Un Agent de Restauration, qui exécute le plan en suivant un paradigme d'exécution-réflexion récursive, guidé par une politique de mélange d'experts axée sur la qualité pour sélectionner la sortie optimale à chaque étape. De plus, 4KAgent intègre un pipeline spécialisé de restauration faciale, améliorant significativement les détails du visage dans les photos de portrait et les selfies. Nous évaluons rigoureusement notre 4KAgent à travers 11 catégories de tâches distinctes couvrant un total de 26 benchmarks variés, établissant de nouveaux records dans un large spectre de domaines d'imagerie. Nos évaluations incluent des images naturelles, des photos de portrait, du contenu généré par IA, des images satellitaires, de la microscopie à fluorescence, et de l'imagerie médicale comme la fundoscopie, l'échographie et les rayons X, démontrant une performance supérieure en termes de métriques perceptuelles (par exemple, NIQE, MUSIQ) et de fidélité (par exemple, PSNR). En établissant un nouveau paradigme agentique pour les tâches de vision de bas niveau, nous visons à catalyser un intérêt et une innovation plus larges pour les agents autonomes centrés sur la vision à travers diverses communautés de recherche. Nous publierons l'intégralité du code, des modèles et des résultats sur : https://4kagent.github.io.

English

We present 4KAgent, a unified agentic super-resolution generalist system designed to universally upscale any image to 4K resolution (and even higher, if applied iteratively). Our system can transform images from extremely low resolutions with severe degradations, for example, highly distorted inputs at 256x256, into crystal-clear, photorealistic 4K outputs. 4KAgent comprises three core components: (1) Profiling, a module that customizes the 4KAgent pipeline based on bespoke use cases; (2) A Perception Agent, which leverages vision-language models alongside image quality assessment experts to analyze the input image and make a tailored restoration plan; and (3) A Restoration Agent, which executes the plan, following a recursive execution-reflection paradigm, guided by a quality-driven mixture-of-expert policy to select the optimal output for each step. Additionally, 4KAgent embeds a specialized face restoration pipeline, significantly enhancing facial details in portrait and selfie photos. We rigorously evaluate our 4KAgent across 11 distinct task categories encompassing a total of 26 diverse benchmarks, setting new state-of-the-art on a broad spectrum of imaging domains. Our evaluations cover natural images, portrait photos, AI-generated content, satellite imagery, fluorescence microscopy, and medical imaging like fundoscopy, ultrasound, and X-ray, demonstrating superior performance in terms of both perceptual (e.g., NIQE, MUSIQ) and fidelity (e.g., PSNR) metrics. By establishing a novel agentic paradigm for low-level vision tasks, we aim to catalyze broader interest and innovation within vision-centric autonomous agents across diverse research communities. We will release all the code, models, and results at: https://4kagent.github.io.

4KAgent : Agentivité pour la super-résolution 4K de n'importe quelle image

4KAgent: Agentic Any Image to 4K Super-Resolution

papers.abstract

Support