LucidFlux: Универсальное восстановление изображений без подписей с использованием крупномасштабного диффузионного трансформера
LucidFlux: Caption-Free Universal Image Restoration via a Large-Scale Diffusion Transformer
September 26, 2025
Авторы: Song Fei, Tian Ye, Lujia Wang, Lei Zhu
cs.AI
Аннотация
Универсальное восстановление изображений (UIR) ставит своей целью восстановление изображений, деградировавших из-за неизвестных смешений, при сохранении семантики — условий, при которых дискриминативные восстановители и диффузионные априори на основе UNet часто приводят к излишнему сглаживанию, галлюцинациям или смещениям. Мы представляем LucidFlux, фреймворк UIR, не требующий описаний, который адаптирует крупный диффузионный трансформер (Flux.1) без использования текстовых описаний изображений. LucidFlux вводит легковесный двухканальный кондиционер, который внедряет сигналы из деградировавшего входного изображения и слегка восстановленного прокси, чтобы закрепить геометрию и подавить артефакты соответственно. Затем разрабатывается адаптивный по времени и слоям график модуляции, чтобы направлять эти сигналы через иерархию основной архитектуры, обеспечивая обновления от грубого к детальному и контекстно-зависимые, что защищает глобальную структуру при восстановлении текстуры. Далее, чтобы избежать задержек и нестабильности текстовых подсказок или описаний от MLLM, мы обеспечиваем семантическое выравнивание без описаний через SigLIP-признаки, извлеченные из прокси. Масштабируемый конвейер курации дополнительно фильтрует крупномасштабные данные для обучения с богатой структурой. На синтетических и реальных тестах LucidFlux стабильно превосходит сильные открытые и коммерческие базовые методы, а исследования с удалением компонентов подтверждают необходимость каждого из них. LucidFlux демонстрирует, что для крупных DiT ключевым рычагом для надежного и не требующего описаний универсального восстановления изображений в реальных условиях является не добавление параметров или использование текстовых подсказок, а определение того, когда, где и на что накладывать условия.
English
Universal image restoration (UIR) aims to recover images degraded by unknown
mixtures while preserving semantics -- conditions under which discriminative
restorers and UNet-based diffusion priors often oversmooth, hallucinate, or
drift. We present LucidFlux, a caption-free UIR framework that adapts a large
diffusion transformer (Flux.1) without image captions. LucidFlux introduces a
lightweight dual-branch conditioner that injects signals from the degraded
input and a lightly restored proxy to respectively anchor geometry and suppress
artifacts. Then, a timestep- and layer-adaptive modulation schedule is designed
to route these cues across the backbone's hierarchy, in order to yield
coarse-to-fine and context-aware updates that protect the global structure
while recovering texture. After that, to avoid the latency and instability of
text prompts or MLLM captions, we enforce caption-free semantic alignment via
SigLIP features extracted from the proxy. A scalable curation pipeline further
filters large-scale data for structure-rich supervision. Across synthetic and
in-the-wild benchmarks, LucidFlux consistently outperforms strong open-source
and commercial baselines, and ablation studies verify the necessity of each
component. LucidFlux shows that, for large DiTs, when, where, and what to
condition on -- rather than adding parameters or relying on text prompts -- is
the governing lever for robust and caption-free universal image restoration in
the wild.