Het voorspellen van het oorspronkelijke uiterlijk van beschadigde historische documenten.

Predicting the Original Appearance of Damaged Historical Documents

December 16, 2024

Auteurs: Zhenhua Yang, Dezhi Peng, Yongxin Shi, Yuyi Zhang, Chongyu Liu, Lianwen Jin

cs.AI

Samenvatting

Historische documenten omvatten een schat aan culturele schatten, maar lijden aan ernstige beschadigingen zoals ontbrekende tekens, papierschade en inkterosie in de loop van de tijd. Bestaande methoden voor documentverwerking richten zich voornamelijk op binarisatie, verbetering, enz., waarbij het herstellen van deze schade wordt verwaarloosd. Om dit aan te pakken, presenteren we een nieuwe taak, genaamd Historisch Documentherstel (HDR), die tot doel heeft de oorspronkelijke verschijning van beschadigde historische documenten te voorspellen. Om het hiaat in dit vakgebied op te vullen, stellen we een grootschalige dataset HDR28K voor en een op diffusie gebaseerd netwerk DiffHDR voor historisch documentherstel. Specifiek bevat HDR28K 28.552 beschadigde-herstelde afbeeldingsparen met annotaties op karakterniveau en degradaties in meerdere stijlen. Bovendien breidt DiffHDR het standaard diffusiekader uit met semantische en ruimtelijke informatie en een zorgvuldig ontworpen karakter-perceptueel verlies voor contextuele en visuele coherentie. Experimentele resultaten tonen aan dat het voorgestelde DiffHDR, getraind met HDR28K, aanzienlijk beter presteert dan bestaande benaderingen en opmerkelijke prestaties vertoont bij het omgaan met echt beschadigde documenten. Opmerkelijk is dat DiffHDR ook kan worden uitgebreid naar documentbewerking en tekstblokgeneratie, waarbij het zijn hoge flexibiliteit en generalisatievermogen laat zien. We geloven dat deze studie een nieuwe richting kan inslaan op het gebied van documentverwerking en kan bijdragen aan het behoud van onschatbare culturen en beschavingen. De dataset en code zijn beschikbaar op https://github.com/yeungchenwa/HDR.

English

Historical documents encompass a wealth of cultural treasures but suffer from severe damages including character missing, paper damage, and ink erosion over time. However, existing document processing methods primarily focus on binarization, enhancement, etc., neglecting the repair of these damages. To this end, we present a new task, termed Historical Document Repair (HDR), which aims to predict the original appearance of damaged historical documents. To fill the gap in this field, we propose a large-scale dataset HDR28K and a diffusion-based network DiffHDR for historical document repair. Specifically, HDR28K contains 28,552 damaged-repaired image pairs with character-level annotations and multi-style degradations. Moreover, DiffHDR augments the vanilla diffusion framework with semantic and spatial information and a meticulously designed character perceptual loss for contextual and visual coherence. Experimental results demonstrate that the proposed DiffHDR trained using HDR28K significantly surpasses existing approaches and exhibits remarkable performance in handling real damaged documents. Notably, DiffHDR can also be extended to document editing and text block generation, showcasing its high flexibility and generalization capacity. We believe this study could pioneer a new direction of document processing and contribute to the inheritance of invaluable cultures and civilizations. The dataset and code is available at https://github.com/yeungchenwa/HDR.