Vorhersage des ursprünglichen Erscheinungsbilds beschädigter historischer Dokumente

Predicting the Original Appearance of Damaged Historical Documents

December 16, 2024

Autoren: Zhenhua Yang, Dezhi Peng, Yongxin Shi, Yuyi Zhang, Chongyu Liu, Lianwen Jin

cs.AI

Zusammenfassung

Historische Dokumente umfassen einen Schatz an kulturellen Schätzen, leiden jedoch unter schweren Schäden wie fehlenden Zeichen, Papierbeschädigungen und Tönen von Tinte im Laufe der Zeit. Die bestehenden Methoden zur Dokumentenverarbeitung konzentrieren sich hauptsächlich auf Binarisierung, Verbesserung usw., vernachlässigen jedoch die Reparatur dieser Schäden. Zu diesem Zweck stellen wir eine neue Aufgabe vor, die als Historische Dokumentenreparatur (HDR) bezeichnet wird und darauf abzielt, das ursprüngliche Erscheinungsbild beschädigter historischer Dokumente vorherzusagen. Um diese Lücke in diesem Bereich zu schließen, schlagen wir einen umfangreichen Datensatz HDR28K und ein diffusionsbasiertes Netzwerk DiffHDR für die Reparatur historischer Dokumente vor. Speziell enthält HDR28K 28.552 beschädigte-reparierte Bildpaare mit Zeichenlevel-Annotationen und Multi-Style-Degradationen. Darüber hinaus erweitert DiffHDR das herkömmliche Diffusionsframework um semantische und räumliche Informationen sowie einen sorgfältig gestalteten Zeichen-Perzeptualverlust für Kontext- und visuelle Kohärenz. Experimentelle Ergebnisse zeigen, dass das vorgeschlagene DiffHDR, das mit HDR28K trainiert wurde, bestehende Ansätze signifikant übertrifft und eine bemerkenswerte Leistung bei der Behandlung realer beschädigter Dokumente zeigt. Beachtenswert ist, dass DiffHDR auch auf die Dokumentenbearbeitung und die Generierung von Textblöcken ausgeweitet werden kann, was seine hohe Flexibilität und Verallgemeinerungsfähigkeit zeigt. Wir glauben, dass diese Studie eine neue Richtung der Dokumentenverarbeitung bahnen und zur Bewahrung von unschätzbaren Kulturen und Zivilisationen beitragen könnte. Der Datensatz und der Code sind unter https://github.com/yeungchenwa/HDR verfügbar.

English

Historical documents encompass a wealth of cultural treasures but suffer from severe damages including character missing, paper damage, and ink erosion over time. However, existing document processing methods primarily focus on binarization, enhancement, etc., neglecting the repair of these damages. To this end, we present a new task, termed Historical Document Repair (HDR), which aims to predict the original appearance of damaged historical documents. To fill the gap in this field, we propose a large-scale dataset HDR28K and a diffusion-based network DiffHDR for historical document repair. Specifically, HDR28K contains 28,552 damaged-repaired image pairs with character-level annotations and multi-style degradations. Moreover, DiffHDR augments the vanilla diffusion framework with semantic and spatial information and a meticulously designed character perceptual loss for contextual and visual coherence. Experimental results demonstrate that the proposed DiffHDR trained using HDR28K significantly surpasses existing approaches and exhibits remarkable performance in handling real damaged documents. Notably, DiffHDR can also be extended to document editing and text block generation, showcasing its high flexibility and generalization capacity. We believe this study could pioneer a new direction of document processing and contribute to the inheritance of invaluable cultures and civilizations. The dataset and code is available at https://github.com/yeungchenwa/HDR.