4KAgent: Agentische Umwandlung beliebiger Bilder in 4K-Superauflösung

papers.abstract

Wir präsentieren 4KAgent, ein einheitliches agentenbasiertes Super-Resolution-Generalistensystem, das entwickelt wurde, um beliebige Bilder universell auf 4K-Auflösung (und sogar höher, bei iterativer Anwendung) zu skalieren. Unser System kann Bilder von extrem niedrigen Auflösungen mit starken Verschlechterungen, beispielsweise stark verzerrte Eingaben mit 256x256 Pixeln, in kristallklare, fotorealistische 4K-Ausgaben transformieren. 4KAgent besteht aus drei Kernkomponenten: (1) Profiling, ein Modul, das die 4KAgent-Pipeline basierend auf spezifischen Anwendungsfällen anpasst; (2) ein Wahrnehmungs-Agent, der Vision-Language-Modelle sowie Experten für Bildqualitätsbewertung nutzt, um das Eingabebild zu analysieren und einen maßgeschneiderten Restaurierungsplan zu erstellen; und (3) ein Restaurierungs-Agent, der den Plan ausführt, basierend auf einem rekursiven Ausführungs-Reflexions-Paradigma, geleitet von einer qualitätsgetriebenen Mixture-of-Expert-Strategie, um die optimale Ausgabe für jeden Schritt auszuwählen. Zusätzlich integriert 4KAgent eine spezialisierte Gesichtsrestaurierungs-Pipeline, die Gesichtsdetails in Porträt- und Selfie-Fotos erheblich verbessert. Wir evaluieren unser 4KAgent-System rigoros über 11 verschiedene Aufgabenkategorien, die insgesamt 26 diverse Benchmarks umfassen, und setzen dabei neue Maßstäbe in einer breiten Palette von Bildgebungsdomänen. Unsere Evaluierungen decken natürliche Bilder, Porträtfotos, KI-generierte Inhalte, Satellitenbilder, Fluoreszenzmikroskopie sowie medizinische Bildgebung wie Fundoskopie, Ultraschall und Röntgen ab und zeigen überlegene Leistung in Bezug auf sowohl wahrnehmungsbasierte (z.B. NIQE, MUSIQ) als auch treue (z.B. PSNR) Metriken. Durch die Etablierung eines neuartigen agentenbasierten Paradigmas für Low-Level-Vision-Aufgaben streben wir an, ein breiteres Interesse und Innovationen in visionzentrierten autonomen Agenten über diverse Forschungsgemeinschaften hinweg zu fördern. Wir werden den gesamten Code, die Modelle und Ergebnisse unter https://4kagent.github.io veröffentlichen.

English

We present 4KAgent, a unified agentic super-resolution generalist system designed to universally upscale any image to 4K resolution (and even higher, if applied iteratively). Our system can transform images from extremely low resolutions with severe degradations, for example, highly distorted inputs at 256x256, into crystal-clear, photorealistic 4K outputs. 4KAgent comprises three core components: (1) Profiling, a module that customizes the 4KAgent pipeline based on bespoke use cases; (2) A Perception Agent, which leverages vision-language models alongside image quality assessment experts to analyze the input image and make a tailored restoration plan; and (3) A Restoration Agent, which executes the plan, following a recursive execution-reflection paradigm, guided by a quality-driven mixture-of-expert policy to select the optimal output for each step. Additionally, 4KAgent embeds a specialized face restoration pipeline, significantly enhancing facial details in portrait and selfie photos. We rigorously evaluate our 4KAgent across 11 distinct task categories encompassing a total of 26 diverse benchmarks, setting new state-of-the-art on a broad spectrum of imaging domains. Our evaluations cover natural images, portrait photos, AI-generated content, satellite imagery, fluorescence microscopy, and medical imaging like fundoscopy, ultrasound, and X-ray, demonstrating superior performance in terms of both perceptual (e.g., NIQE, MUSIQ) and fidelity (e.g., PSNR) metrics. By establishing a novel agentic paradigm for low-level vision tasks, we aim to catalyze broader interest and innovation within vision-centric autonomous agents across diverse research communities. We will release all the code, models, and results at: https://4kagent.github.io.

4KAgent: Agentische Umwandlung beliebiger Bilder in 4K-Superauflösung

4KAgent: Agentic Any Image to 4K Super-Resolution

papers.abstract

Support