4KAgent: Agente per Super-Risoluzione 4K da Qualsiasi Immagine

Abstract

Presentiamo 4KAgent, un sistema generalista unificato per la super-risoluzione agentica progettato per aumentare universalmente qualsiasi immagine alla risoluzione 4K (e anche superiore, se applicato in modo iterativo). Il nostro sistema è in grado di trasformare immagini con risoluzioni estremamente basse e gravi degradazioni, ad esempio input altamente distorti a 256x256, in output 4K nitidi e fotorealistici. 4KAgent è composto da tre componenti principali: (1) Profiling, un modulo che personalizza la pipeline di 4KAgent in base a casi d'uso specifici; (2) Un Agente di Percezione, che sfrutta modelli visione-linguaggio insieme a esperti di valutazione della qualità dell'immagine per analizzare l'immagine di input e creare un piano di ripristino su misura; e (3) Un Agente di Ripristino, che esegue il piano seguendo un paradigma di esecuzione-riflessione ricorsivo, guidato da una politica di miscela di esperti orientata alla qualità per selezionare l'output ottimale per ogni fase. Inoltre, 4KAgent include una pipeline specializzata per il ripristino dei volti, migliorando significativamente i dettagli facciali nelle foto ritratto e selfie. Valutiamo rigorosamente il nostro 4KAgent su 11 categorie di task distinte, comprendenti un totale di 26 benchmark diversi, stabilendo nuovi state-of-the-art in un'ampia gamma di domini di imaging. Le nostre valutazioni coprono immagini naturali, foto ritratto, contenuti generati da IA, immagini satellitari, microscopia a fluorescenza e imaging medico come fundoscopia, ecografia e raggi X, dimostrando prestazioni superiori sia in termini di metriche percettuali (ad esempio, NIQE, MUSIQ) che di fedeltà (ad esempio, PSNR). Stabilendo un nuovo paradigma agentico per task di visione di basso livello, miriamo a catalizzare un interesse più ampio e l'innovazione all'interno di agenti autonomi centrati sulla visione in diverse comunità di ricerca. Rilasceremo tutto il codice, i modelli e i risultati su: https://4kagent.github.io.

English

We present 4KAgent, a unified agentic super-resolution generalist system designed to universally upscale any image to 4K resolution (and even higher, if applied iteratively). Our system can transform images from extremely low resolutions with severe degradations, for example, highly distorted inputs at 256x256, into crystal-clear, photorealistic 4K outputs. 4KAgent comprises three core components: (1) Profiling, a module that customizes the 4KAgent pipeline based on bespoke use cases; (2) A Perception Agent, which leverages vision-language models alongside image quality assessment experts to analyze the input image and make a tailored restoration plan; and (3) A Restoration Agent, which executes the plan, following a recursive execution-reflection paradigm, guided by a quality-driven mixture-of-expert policy to select the optimal output for each step. Additionally, 4KAgent embeds a specialized face restoration pipeline, significantly enhancing facial details in portrait and selfie photos. We rigorously evaluate our 4KAgent across 11 distinct task categories encompassing a total of 26 diverse benchmarks, setting new state-of-the-art on a broad spectrum of imaging domains. Our evaluations cover natural images, portrait photos, AI-generated content, satellite imagery, fluorescence microscopy, and medical imaging like fundoscopy, ultrasound, and X-ray, demonstrating superior performance in terms of both perceptual (e.g., NIQE, MUSIQ) and fidelity (e.g., PSNR) metrics. By establishing a novel agentic paradigm for low-level vision tasks, we aim to catalyze broader interest and innovation within vision-centric autonomous agents across diverse research communities. We will release all the code, models, and results at: https://4kagent.github.io.

4KAgent: Agente per Super-Risoluzione 4K da Qualsiasi Immagine

4KAgent: Agentic Any Image to 4K Super-Resolution

Abstract

Support