DiffuMural: 다중 스케일 확산을 통한 둔황 벽화 복원

DiffuMural: Restoring Dunhuang Murals with Multi-scale Diffusion

April 13, 2025

저자: Puyu Han, Jiaju Kang, Yuhang Pan, Erting Pan, Zeyu Zhang, Qunchao Jin, Juntao Jiang, Zhichen Liu, Luqi Gong

cs.AI

초록

대규모 사전 학습된 확산 모델은 조건부 이미지 생성 분야에서 우수한 결과를 보여왔습니다. 그러나 고대 벽화 복원은 이 분야의 중요한 하위 작업임에도 불구하고, 결손 영역이 크고 학습 데이터가 부족하다는 점에서 확산 모델 기반 복원 방법에 상당한 도전 과제를 제기합니다. 조건부 복원 작업은 복원된 부분이 전체 스타일과 이음새 세부 사항에서 벽화 복원의 미학적 기준을 충족하는지 여부에 더 관심을 가지며, 이러한 휴리스틱 이미지 보완을 평가하기 위한 지표는 현재 연구에서 부족한 실정입니다. 이에 우리는 DiffuMural을 제안합니다. 이는 ControlNet과 순환 일관성 손실을 결합한 다중 스케일 수렴 및 협업 확산 메커니즘을 통해 생성된 이미지와 조건부 제어 간의 매칭을 최적화합니다. DiffuMural은 일관된 시각적 미학을 보이는 23개의 대규모 둔황 벽화 데이터를 활용하여 벽화 복원에서 탁월한 능력을 입증했습니다. 이 모델은 복잡한 세부 사항 복원, 일관된 전체 외관 달성, 그리고 사실적 근거가 부족한 불완전한 벽화가 제기하는 독특한 문제 해결에 뛰어납니다. 우리의 평가 프레임워크는 불완전한 벽화를 정량적으로 평가하기 위해 사실적 정확도, 질감 세부 사항, 문맥적 의미론, 그리고 전체적 시각적 일관성이라는 네 가지 핵심 지표를 통합합니다. 더 나아가, 복원된 벽화가 문화적, 예술적 가치를 유지하도록 인문학적 가치 평가를 통합했습니다. 광범위한 실험을 통해 우리의 방법이 정성적 및 정량적 지표 모두에서 최신 기술(SOTA) 접근법을 능가함을 검증했습니다.

English

Large-scale pre-trained diffusion models have produced excellent results in the field of conditional image generation. However, restoration of ancient murals, as an important downstream task in this field, poses significant challenges to diffusion model-based restoration methods due to its large defective area and scarce training samples. Conditional restoration tasks are more concerned with whether the restored part meets the aesthetic standards of mural restoration in terms of overall style and seam detail, and such metrics for evaluating heuristic image complements are lacking in current research. We therefore propose DiffuMural, a combined Multi-scale convergence and Collaborative Diffusion mechanism with ControlNet and cyclic consistency loss to optimise the matching between the generated images and the conditional control. DiffuMural demonstrates outstanding capabilities in mural restoration, leveraging training data from 23 large-scale Dunhuang murals that exhibit consistent visual aesthetics. The model excels in restoring intricate details, achieving a coherent overall appearance, and addressing the unique challenges posed by incomplete murals lacking factual grounding. Our evaluation framework incorporates four key metrics to quantitatively assess incomplete murals: factual accuracy, textural detail, contextual semantics, and holistic visual coherence. Furthermore, we integrate humanistic value assessments to ensure the restored murals retain their cultural and artistic significance. Extensive experiments validate that our method outperforms state-of-the-art (SOTA) approaches in both qualitative and quantitative metrics.