Herleven van cultureel erfgoed: een innovatieve aanpak voor uitgebreide restauratie van historische documenten

Reviving Cultural Heritage: A Novel Approach for Comprehensive Historical Document Restoration

July 7, 2025

Auteurs: Yuyi Zhang, Peirong Zhang, Zhenhua Yang, Pengyu Yan, Yongxin Shi, Pengwei Liu, Fengjun Guo, Lianwen Jin

cs.AI

Samenvatting

Historische documenten vormen een onschatbaar cultureel erfgoed, maar hebben in de loop der tijd aanzienlijke degradatie ondergaan door scheuren, watererosie en oxidatie. Bestaande methoden voor Historisch Documentherstel (HDR) richten zich voornamelijk op herstel van één modaliteit of beperkte omvang, waardoor ze niet aan de praktische behoeften voldoen. Om deze leemte op te vullen, presenteren we een full-page HDR-dataset (FPHDR) en een nieuwe geautomatiseerde HDR-oplossing (AutoHDR). Specifiek bestaat FPHDR uit 1.633 echte en 6.543 synthetische afbeeldingen met karakter- en lijnniveau locaties, evenals karakterannotaties in verschillende schadegraden. AutoHDR bootst de herstelwerkwijzen van historici na via een driestapsbenadering: OCR-ondersteunde schadelokalisatie, visueel-taalkundige contexttekstvoorspelling en patch-autoregressief uiterlijkherstel. De modulaire architectuur van AutoHDR maakt naadloze mens-machine samenwerking mogelijk, waardoor flexibele interventie en optimalisatie in elk herstelfase mogelijk is. Experimenten tonen de opmerkelijke prestaties van AutoHDR in HDR aan. Bij het verwerken van zwaar beschadigde documenten verbetert onze methode de OCR-nauwkeurigheid van 46,83\% naar 84,05\%, met een verdere verbetering tot 94,25\% door mens-machine samenwerking. Wij geloven dat dit werk een significante vooruitgang vertegenwoordigt in geautomatiseerd historisch documentherstel en een substantiële bijdrage levert aan het behoud van cultureel erfgoed. Het model en de dataset zijn beschikbaar op https://github.com/SCUT-DLVCLab/AutoHDR.

English

Historical documents represent an invaluable cultural heritage, yet have undergone significant degradation over time through tears, water erosion, and oxidation. Existing Historical Document Restoration (HDR) methods primarily focus on single modality or limited-size restoration, failing to meet practical needs. To fill this gap, we present a full-page HDR dataset (FPHDR) and a novel automated HDR solution (AutoHDR). Specifically, FPHDR comprises 1,633 real and 6,543 synthetic images with character-level and line-level locations, as well as character annotations in different damage grades. AutoHDR mimics historians' restoration workflows through a three-stage approach: OCR-assisted damage localization, vision-language context text prediction, and patch autoregressive appearance restoration. The modular architecture of AutoHDR enables seamless human-machine collaboration, allowing for flexible intervention and optimization at each restoration stage. Experiments demonstrate AutoHDR's remarkable performance in HDR. When processing severely damaged documents, our method improves OCR accuracy from 46.83\% to 84.05\%, with further enhancement to 94.25\% through human-machine collaboration. We believe this work represents a significant advancement in automated historical document restoration and contributes substantially to cultural heritage preservation. The model and dataset are available at https://github.com/SCUT-DLVCLab/AutoHDR.