LucidFlux : Restauration universelle d'images sans légende via un transformeur de diffusion à grande échelle

LucidFlux: Caption-Free Universal Image Restoration via a Large-Scale Diffusion Transformer

September 26, 2025

papers.authors: Song Fei, Tian Ye, Lujia Wang, Lei Zhu

cs.AI

papers.abstract

La restauration universelle d'images (UIR) vise à récupérer des images dégradées par des mélanges inconnus tout en préservant la sémantique -- des conditions dans lesquelles les restaurateurs discriminatifs et les priors de diffusion basés sur UNet ont souvent tendance à lisser excessivement, à halluciner ou à dériver. Nous présentons LucidFlux, un cadre UIR sans légende qui adapte un grand transformateur de diffusion (Flux.1) sans légendes d'images. LucidFlux introduit un conditionneur léger à double branche qui injecte des signaux provenant de l'entrée dégradée et d'un proxy légèrement restauré pour ancrer respectivement la géométrie et supprimer les artefacts. Ensuite, un plan de modulation adaptatif en fonction du pas de temps et de la couche est conçu pour acheminer ces indices à travers la hiérarchie du backbone, afin de produire des mises à jour allant du grossier au fin et conscientes du contexte, qui protègent la structure globale tout en restaurant la texture. Par la suite, pour éviter la latence et l'instabilité des invites textuelles ou des légendes MLLM, nous appliquons un alignement sémantique sans légende via des caractéristiques SigLIP extraites du proxy. Un pipeline de curation scalable filtre en outre des données à grande échelle pour une supervision riche en structure. Sur des benchmarks synthétiques et in-the-wild, LucidFlux surpasse systématiquement des bases de référence open-source et commerciales solides, et des études d'ablation vérifient la nécessité de chaque composant. LucidFlux montre que, pour les grands DiTs, quand, où et sur quoi conditionner -- plutôt que d'ajouter des paramètres ou de s'appuyer sur des invites textuelles -- est le levier principal pour une restauration universelle d'images robuste et sans légende dans des conditions réelles.

English

Universal image restoration (UIR) aims to recover images degraded by unknown mixtures while preserving semantics -- conditions under which discriminative restorers and UNet-based diffusion priors often oversmooth, hallucinate, or drift. We present LucidFlux, a caption-free UIR framework that adapts a large diffusion transformer (Flux.1) without image captions. LucidFlux introduces a lightweight dual-branch conditioner that injects signals from the degraded input and a lightly restored proxy to respectively anchor geometry and suppress artifacts. Then, a timestep- and layer-adaptive modulation schedule is designed to route these cues across the backbone's hierarchy, in order to yield coarse-to-fine and context-aware updates that protect the global structure while recovering texture. After that, to avoid the latency and instability of text prompts or MLLM captions, we enforce caption-free semantic alignment via SigLIP features extracted from the proxy. A scalable curation pipeline further filters large-scale data for structure-rich supervision. Across synthetic and in-the-wild benchmarks, LucidFlux consistently outperforms strong open-source and commercial baselines, and ablation studies verify the necessity of each component. LucidFlux shows that, for large DiTs, when, where, and what to condition on -- rather than adding parameters or relying on text prompts -- is the governing lever for robust and caption-free universal image restoration in the wild.