DiffuMural: Restauratie van Dunhuang-muurschilderingen met multi-schaal diffusie

DiffuMural: Restoring Dunhuang Murals with Multi-scale Diffusion

April 13, 2025

Auteurs: Puyu Han, Jiaju Kang, Yuhang Pan, Erting Pan, Zeyu Zhang, Qunchao Jin, Juntao Jiang, Zhichen Liu, Luqi Gong

cs.AI

Samenvatting

Grootschalige vooraf getrainde diffusiemodellen hebben uitstekende resultaten behaald op het gebied van conditionele beeldgeneratie. Het herstel van oude muurschilderingen, als een belangrijke downstream-taak in dit veld, stelt echter aanzienlijke uitdagingen aan diffusiemodel-gebaseerde herstelmethoden vanwege de grote defecte gebieden en schaarse trainingsvoorbeelden. Conditionele hersteltaken zijn meer gericht op of het herstelde deel voldoet aan de esthetische normen van muurschilderingsherstel in termen van algemene stijl en naaddetail, en dergelijke metrieken voor het evalueren van heuristische beeldaanvullingen ontbreken in het huidige onderzoek. Wij stellen daarom DiffuMural voor, een gecombineerd Multi-schaal convergentie en Collaboratief Diffusie mechanisme met ControlNet en cyclische consistentieverlies om de afstemming tussen de gegenereerde beelden en de conditionele controle te optimaliseren. DiffuMural toont uitstekende capaciteiten in het herstel van muurschilderingen, waarbij gebruik wordt gemaakt van trainingsgegevens van 23 grootschalige Dunhuang muurschilderingen die consistente visuele esthetiek vertonen. Het model blinkt uit in het herstellen van ingewikkelde details, het bereiken van een samenhangend algemeen uiterlijk en het aanpakken van de unieke uitdagingen die worden gesteld door onvolledige muurschilderingen die geen feitelijke basis hebben. Ons evaluatiekader omvat vier belangrijke metrieken om onvolledige muurschilderingen kwantitatief te beoordelen: feitelijke nauwkeurigheid, textuurdetail, contextuele semantiek en holistische visuele samenhang. Bovendien integreren we humanistische waarderingsmethoden om ervoor te zorgen dat de herstelde muurschilderingen hun culturele en artistieke betekenis behouden. Uitgebreide experimenten valideren dat onze methode zowel kwalitatieve als kwantitatieve metrieken overtreft in vergelijking met state-of-the-art (SOTA) benaderingen.

English

Large-scale pre-trained diffusion models have produced excellent results in the field of conditional image generation. However, restoration of ancient murals, as an important downstream task in this field, poses significant challenges to diffusion model-based restoration methods due to its large defective area and scarce training samples. Conditional restoration tasks are more concerned with whether the restored part meets the aesthetic standards of mural restoration in terms of overall style and seam detail, and such metrics for evaluating heuristic image complements are lacking in current research. We therefore propose DiffuMural, a combined Multi-scale convergence and Collaborative Diffusion mechanism with ControlNet and cyclic consistency loss to optimise the matching between the generated images and the conditional control. DiffuMural demonstrates outstanding capabilities in mural restoration, leveraging training data from 23 large-scale Dunhuang murals that exhibit consistent visual aesthetics. The model excels in restoring intricate details, achieving a coherent overall appearance, and addressing the unique challenges posed by incomplete murals lacking factual grounding. Our evaluation framework incorporates four key metrics to quantitatively assess incomplete murals: factual accuracy, textural detail, contextual semantics, and holistic visual coherence. Furthermore, we integrate humanistic value assessments to ensure the restored murals retain their cultural and artistic significance. Extensive experiments validate that our method outperforms state-of-the-art (SOTA) approaches in both qualitative and quantitative metrics.