DiffuMural: Restauración de murales de Dunhuang con difusión multi-escala

DiffuMural: Restoring Dunhuang Murals with Multi-scale Diffusion

April 13, 2025

Autores: Puyu Han, Jiaju Kang, Yuhang Pan, Erting Pan, Zeyu Zhang, Qunchao Jin, Juntao Jiang, Zhichen Liu, Luqi Gong

cs.AI

Resumen

Los modelos de difusión preentrenados a gran escala han producido resultados excelentes en el campo de la generación condicional de imágenes. Sin embargo, la restauración de murales antiguos, como una tarea descendente importante en este campo, plantea desafíos significativos a los métodos de restauración basados en modelos de difusión debido a sus grandes áreas defectuosas y la escasez de muestras de entrenamiento. Las tareas de restauración condicional se centran más en si la parte restaurada cumple con los estándares estéticos de la restauración de murales en términos de estilo general y detalles de las uniones, y tales métricas para evaluar complementos heurísticos de imágenes son escasas en la investigación actual. Por lo tanto, proponemos DiffuMural, un mecanismo combinado de Convergencia Multi-escala y Difusión Colaborativa con ControlNet y pérdida de consistencia cíclica para optimizar la coincidencia entre las imágenes generadas y el control condicional. DiffuMural demuestra capacidades sobresalientes en la restauración de murales, aprovechando datos de entrenamiento de 23 murales a gran escala de Dunhuang que exhiben una estética visual consistente. El modelo sobresale en la restauración de detalles intrincados, logrando una apariencia general coherente y abordando los desafíos únicos planteados por murales incompletos que carecen de fundamento factual. Nuestro marco de evaluación incorpora cuatro métricas clave para evaluar cuantitativamente murales incompletos: precisión factual, detalle textural, semántica contextual y coherencia visual holística. Además, integramos evaluaciones de valor humanístico para garantizar que los murales restaurados conserven su significado cultural y artístico. Experimentos extensos validan que nuestro método supera a los enfoques más avanzados (SOTA) tanto en métricas cualitativas como cuantitativas.

English

Large-scale pre-trained diffusion models have produced excellent results in the field of conditional image generation. However, restoration of ancient murals, as an important downstream task in this field, poses significant challenges to diffusion model-based restoration methods due to its large defective area and scarce training samples. Conditional restoration tasks are more concerned with whether the restored part meets the aesthetic standards of mural restoration in terms of overall style and seam detail, and such metrics for evaluating heuristic image complements are lacking in current research. We therefore propose DiffuMural, a combined Multi-scale convergence and Collaborative Diffusion mechanism with ControlNet and cyclic consistency loss to optimise the matching between the generated images and the conditional control. DiffuMural demonstrates outstanding capabilities in mural restoration, leveraging training data from 23 large-scale Dunhuang murals that exhibit consistent visual aesthetics. The model excels in restoring intricate details, achieving a coherent overall appearance, and addressing the unique challenges posed by incomplete murals lacking factual grounding. Our evaluation framework incorporates four key metrics to quantitatively assess incomplete murals: factual accuracy, textural detail, contextual semantics, and holistic visual coherence. Furthermore, we integrate humanistic value assessments to ensure the restored murals retain their cultural and artistic significance. Extensive experiments validate that our method outperforms state-of-the-art (SOTA) approaches in both qualitative and quantitative metrics.