LucidFlux: Restauración Universal de Imágenes sin Subtítulos mediante un Transformador de Difusión a Gran Escala

LucidFlux: Caption-Free Universal Image Restoration via a Large-Scale Diffusion Transformer

September 26, 2025

Autores: Song Fei, Tian Ye, Lujia Wang, Lei Zhu

cs.AI

Resumen

La restauración universal de imágenes (UIR, por sus siglas en inglés) tiene como objetivo recuperar imágenes degradadas por mezclas desconocidas mientras se preserva la semántica, condiciones bajo las cuales los restauradores discriminativos y los modelos basados en UNet con difusión suelen suavizar en exceso, generar alucinaciones o desviarse. Presentamos LucidFlux, un marco de UIR sin subtítulos que adapta un gran transformador de difusión (Flux.1) sin utilizar descripciones de imágenes. LucidFlux introduce un condicionador ligero de doble rama que inyecta señales desde la entrada degradada y un proxy ligeramente restaurado para anclar la geometría y suprimir artefactos, respectivamente. Luego, se diseña un esquema de modulación adaptativo en función del paso de tiempo y la capa para dirigir estas señales a través de la jerarquía del modelo, con el fin de generar actualizaciones de lo general a lo específico y conscientes del contexto que protejan la estructura global mientras se recupera la textura. Además, para evitar la latencia y la inestabilidad de los indicadores de texto o las descripciones generadas por modelos de lenguaje multimodal (MLLM), se aplica una alineación semántica sin subtítulos mediante características SigLIP extraídas del proxy. Un pipeline de curación escalable filtra adicionalmente datos a gran escala para proporcionar supervisión rica en estructura. En benchmarks sintéticos y en entornos reales, LucidFlux supera consistentemente a fuertes baselines de código abierto y comerciales, y los estudios de ablación verifican la necesidad de cada componente. LucidFlux demuestra que, para grandes DiTs, el cuándo, dónde y qué condicionar —en lugar de agregar parámetros o depender de indicadores de texto— es el factor clave para una restauración universal de imágenes robusta y sin subtítulos en entornos reales.

English

Universal image restoration (UIR) aims to recover images degraded by unknown mixtures while preserving semantics -- conditions under which discriminative restorers and UNet-based diffusion priors often oversmooth, hallucinate, or drift. We present LucidFlux, a caption-free UIR framework that adapts a large diffusion transformer (Flux.1) without image captions. LucidFlux introduces a lightweight dual-branch conditioner that injects signals from the degraded input and a lightly restored proxy to respectively anchor geometry and suppress artifacts. Then, a timestep- and layer-adaptive modulation schedule is designed to route these cues across the backbone's hierarchy, in order to yield coarse-to-fine and context-aware updates that protect the global structure while recovering texture. After that, to avoid the latency and instability of text prompts or MLLM captions, we enforce caption-free semantic alignment via SigLIP features extracted from the proxy. A scalable curation pipeline further filters large-scale data for structure-rich supervision. Across synthetic and in-the-wild benchmarks, LucidFlux consistently outperforms strong open-source and commercial baselines, and ablation studies verify the necessity of each component. LucidFlux shows that, for large DiTs, when, where, and what to condition on -- rather than adding parameters or relying on text prompts -- is the governing lever for robust and caption-free universal image restoration in the wild.