DiffuMural: Restaurierung von Dunhuang-Wandmalereien mit Multi-Scale-Diffusion

DiffuMural: Restoring Dunhuang Murals with Multi-scale Diffusion

April 13, 2025

Autoren: Puyu Han, Jiaju Kang, Yuhang Pan, Erting Pan, Zeyu Zhang, Qunchao Jin, Juntao Jiang, Zhichen Liu, Luqi Gong

cs.AI

Zusammenfassung

Große, vortrainierte Diffusionsmodelle haben hervorragende Ergebnisse im Bereich der bedingten Bildgenerierung erzielt. Die Restaurierung antiker Wandmalereien stellt jedoch als wichtige nachgelagerte Aufgabe in diesem Bereich erhebliche Herausforderungen für diffusionsbasierte Restaurierungsmethoden dar, insbesondere aufgrund der großen beschädigten Flächen und der knappen Trainingsdaten. Bei bedingten Restaurierungsaufgaben liegt der Fokus stärker darauf, ob die restaurierten Teile die ästhetischen Standards der Wandmalereirestaurierung in Bezug auf den Gesamtstil und die Nahtdetails erfüllen. Solche Metriken zur Bewertung heuristischer Bildergänzungen fehlen in der aktuellen Forschung. Daher schlagen wir DiffuMural vor, eine Kombination aus Multi-Skalen-Konvergenz und kollaborativem Diffusionsmechanismus mit ControlNet und zyklischem Konsistenzverlust, um die Übereinstimmung zwischen den generierten Bildern und der bedingten Steuerung zu optimieren. DiffuMural zeigt herausragende Fähigkeiten bei der Restaurierung von Wandmalereien und nutzt Trainingsdaten von 23 großformatigen Dunhuang-Wandmalereien, die eine konsistente visuelle Ästhetik aufweisen. Das Modell überzeugt bei der Wiederherstellung komplexer Details, erreicht ein kohärentes Gesamtbild und bewältigt die besonderen Herausforderungen, die durch unvollständige Wandmalereien ohne faktische Grundlage entstehen. Unser Bewertungsrahmen umfasst vier Schlüsselmetriken zur quantitativen Bewertung unvollständiger Wandmalereien: faktische Genauigkeit, texturale Details, kontextuelle Semantik und ganzheitliche visuelle Kohärenz. Darüber hinaus integrieren wir humanistische Wertbewertungen, um sicherzustellen, dass die restaurierten Wandmalereien ihren kulturellen und künstlerischen Wert behalten. Umfangreiche Experimente bestätigen, dass unsere Methode sowohl in qualitativen als auch in quantitativen Metriken den State-of-the-Art (SOTA)-Ansätzen überlegen ist.

English

Large-scale pre-trained diffusion models have produced excellent results in the field of conditional image generation. However, restoration of ancient murals, as an important downstream task in this field, poses significant challenges to diffusion model-based restoration methods due to its large defective area and scarce training samples. Conditional restoration tasks are more concerned with whether the restored part meets the aesthetic standards of mural restoration in terms of overall style and seam detail, and such metrics for evaluating heuristic image complements are lacking in current research. We therefore propose DiffuMural, a combined Multi-scale convergence and Collaborative Diffusion mechanism with ControlNet and cyclic consistency loss to optimise the matching between the generated images and the conditional control. DiffuMural demonstrates outstanding capabilities in mural restoration, leveraging training data from 23 large-scale Dunhuang murals that exhibit consistent visual aesthetics. The model excels in restoring intricate details, achieving a coherent overall appearance, and addressing the unique challenges posed by incomplete murals lacking factual grounding. Our evaluation framework incorporates four key metrics to quantitatively assess incomplete murals: factual accuracy, textural detail, contextual semantics, and holistic visual coherence. Furthermore, we integrate humanistic value assessments to ensure the restored murals retain their cultural and artistic significance. Extensive experiments validate that our method outperforms state-of-the-art (SOTA) approaches in both qualitative and quantitative metrics.