LucidFlux: Ripristino Universale delle Immagini Senza Didascalie tramite un Trasformatore di Diffusione su Larga Scala

LucidFlux: Caption-Free Universal Image Restoration via a Large-Scale Diffusion Transformer

September 26, 2025

Autori: Song Fei, Tian Ye, Lujia Wang, Lei Zhu

cs.AI

Abstract

La restaurazione universale delle immagini (UIR) mira a recuperare immagini degradate da miscele sconosciute preservandone la semantica -- condizioni in cui i restauratori discriminativi e i modelli di diffusione basati su UNet tendono a sovrasmorzare, allucinare o deviare. Presentiamo LucidFlux, un framework UIR senza didascalie che adatta un grande trasformatore di diffusione (Flux.1) senza l'uso di descrizioni testuali. LucidFlux introduce un condizionatore leggero a doppio ramo che inietta segnali dall'input degradato e da una versione leggermente restaurata per ancorare rispettivamente la geometria e sopprimere gli artefatti. Successivamente, viene progettata una programmazione di modulazione adattiva al timestep e al livello per indirizzare questi segnali attraverso la gerarchia del modello, al fine di produrre aggiornamenti da grossolani a fini e contestualmente consapevoli che proteggono la struttura globale mentre recuperano la texture. Inoltre, per evitare la latenza e l'instabilità dei prompt testuali o delle didascalie MLLM, imponiamo un allineamento semantico senza didascalie tramite funzionalità SigLIP estratte dalla versione proxy. Una pipeline di selezione scalabile filtra ulteriormente dati su larga scala per una supervisione ricca di struttura. Su benchmark sintetici e in contesti reali, LucidFlux supera costantemente soluzioni open-source e commerciali di riferimento, e studi di ablazione verificano la necessità di ciascun componente. LucidFlux dimostra che, per grandi DiT, il quando, il dove e il cosa condizionare -- piuttosto che aggiungere parametri o affidarsi a prompt testuali -- è la leva principale per una restaurazione universale delle immagini robusta e senza didascalie in contesti reali.

English

Universal image restoration (UIR) aims to recover images degraded by unknown mixtures while preserving semantics -- conditions under which discriminative restorers and UNet-based diffusion priors often oversmooth, hallucinate, or drift. We present LucidFlux, a caption-free UIR framework that adapts a large diffusion transformer (Flux.1) without image captions. LucidFlux introduces a lightweight dual-branch conditioner that injects signals from the degraded input and a lightly restored proxy to respectively anchor geometry and suppress artifacts. Then, a timestep- and layer-adaptive modulation schedule is designed to route these cues across the backbone's hierarchy, in order to yield coarse-to-fine and context-aware updates that protect the global structure while recovering texture. After that, to avoid the latency and instability of text prompts or MLLM captions, we enforce caption-free semantic alignment via SigLIP features extracted from the proxy. A scalable curation pipeline further filters large-scale data for structure-rich supervision. Across synthetic and in-the-wild benchmarks, LucidFlux consistently outperforms strong open-source and commercial baselines, and ablation studies verify the necessity of each component. LucidFlux shows that, for large DiTs, when, where, and what to condition on -- rather than adding parameters or relying on text prompts -- is the governing lever for robust and caption-free universal image restoration in the wild.