문화유산의 부활: 포괄적 역사 문서 복원을 위한 새로운 접근법

Reviving Cultural Heritage: A Novel Approach for Comprehensive Historical Document Restoration

July 7, 2025

저자: Yuyi Zhang, Peirong Zhang, Zhenhua Yang, Pengyu Yan, Yongxin Shi, Pengwei Liu, Fengjun Guo, Lianwen Jin

cs.AI

초록

역사 문서는 귀중한 문화유산을 대표하지만, 시간이 지남에 따라 찢김, 수침, 산화 등의 심각한 훼손을 겪어 왔습니다. 기존의 역사 문서 복원(HDR) 방법들은 주로 단일 양식이나 제한된 크기의 복원에 초점을 맞추고 있어 실질적인 요구를 충족시키지 못하고 있습니다. 이러한 격차를 메우기 위해, 우리는 전체 페이지 HDR 데이터셋(FPHDR)과 새로운 자동화된 HDR 솔루션(AutoHDR)을 제안합니다. 구체적으로, FPHDR은 1,633개의 실제 이미지와 6,543개의 합성 이미지로 구성되어 있으며, 문자 수준과 줄 수준의 위치 정보와 다양한 손상 등급의 문자 주석을 포함하고 있습니다. AutoHDR은 역사학자들의 복원 작업 흐름을 세 단계 접근법으로 모방합니다: OCR 지원 손상 위치 파악, 시각-언어 컨텍스트 텍스트 예측, 패치 자동회귀 외관 복원. AutoHDR의 모듈식 아키텍처는 각 복원 단계에서 유연한 개입과 최적화를 가능하게 하여 원활한 인간-기계 협업을 지원합니다. 실험 결과, AutoHDR은 HDR에서 뛰어난 성능을 보여줍니다. 심각하게 손상된 문서를 처리할 때, 우리의 방법은 OCR 정확도를 46.83\%에서 84.05\%로 향상시키며, 인간-기계 협업을 통해 이를 94.25\%로 더욱 개선합니다. 우리는 이 작업이 자동화된 역사 문서 복원 분야에서 중요한 진전을 이루었으며, 문화유산 보존에 크게 기여할 것이라고 믿습니다. 모델과 데이터셋은 https://github.com/SCUT-DLVCLab/AutoHDR에서 확인할 수 있습니다.

English

Historical documents represent an invaluable cultural heritage, yet have undergone significant degradation over time through tears, water erosion, and oxidation. Existing Historical Document Restoration (HDR) methods primarily focus on single modality or limited-size restoration, failing to meet practical needs. To fill this gap, we present a full-page HDR dataset (FPHDR) and a novel automated HDR solution (AutoHDR). Specifically, FPHDR comprises 1,633 real and 6,543 synthetic images with character-level and line-level locations, as well as character annotations in different damage grades. AutoHDR mimics historians' restoration workflows through a three-stage approach: OCR-assisted damage localization, vision-language context text prediction, and patch autoregressive appearance restoration. The modular architecture of AutoHDR enables seamless human-machine collaboration, allowing for flexible intervention and optimization at each restoration stage. Experiments demonstrate AutoHDR's remarkable performance in HDR. When processing severely damaged documents, our method improves OCR accuracy from 46.83\% to 84.05\%, with further enhancement to 94.25\% through human-machine collaboration. We believe this work represents a significant advancement in automated historical document restoration and contributes substantially to cultural heritage preservation. The model and dataset are available at https://github.com/SCUT-DLVCLab/AutoHDR.