BERT-VBD: Vietnamesisches Multi-Dokumenten Zusammenfassungs-Framework

BERT-VBD: Vietnamese Multi-Document Summarization Framework

September 18, 2024

Autoren: Tuan-Cuong Vuong, Trang Mai Xuan, Thien Van Luong

cs.AI

Zusammenfassung

Bei der Bewältigung der Herausforderung der Multi-Dokumenten-Zusammenfassung (MDS) wurden zahlreiche Methoden vorgeschlagen, die sowohl extraktive als auch abstraktive Zusammenfassungstechniken umfassen. Jeder Ansatz hat jedoch seine eigenen Einschränkungen, wodurch es weniger effektiv ist, sich ausschließlich auf einen zu verlassen. Eine aufkommende und vielversprechende Strategie beinhaltet eine synergistische Fusion von extraktiven und abstraktiven Zusammenfassungsmethoden. Trotz der Vielzahl von Studien in diesem Bereich ist die Forschung zu der kombinierten Methodik nach wie vor knapp, insbesondere im Kontext der vietnamesischen Sprachverarbeitung. Dieser Artikel stellt ein neuartiges vietnamesisches MDS-Framework vor, das eine Zwei-Komponenten-Pipeline-Architektur nutzt, die extraktive und abstraktive Techniken integriert. Die erste Komponente verwendet einen extraktiven Ansatz, um Schlüsselsätze in jedem Dokument zu identifizieren. Dies wird durch eine Modifikation des vorab trainierten BERT-Netzwerks erreicht, das semantisch sinnvolle Satz-Einbettungen mithilfe von Siamese- und Triplet-Netzwerkstrukturen ableitet. Die zweite Komponente verwendet das VBD-LLaMA2-7B-50b-Modell für abstrakte Zusammenfassungen und generiert letztendlich das endgültige Zusammenfassungsdokument. Unser vorgeschlagenes Framework zeigt eine positive Leistung und erreicht ROUGE-2-Werte von 39,6% auf dem VN-MDS-Datensatz und übertrifft die State-of-the-Art-Baselines.

English

In tackling the challenge of Multi-Document Summarization (MDS), numerous methods have been proposed, spanning both extractive and abstractive summarization techniques. However, each approach has its own limitations, making it less effective to rely solely on either one. An emerging and promising strategy involves a synergistic fusion of extractive and abstractive summarization methods. Despite the plethora of studies in this domain, research on the combined methodology remains scarce, particularly in the context of Vietnamese language processing. This paper presents a novel Vietnamese MDS framework leveraging a two-component pipeline architecture that integrates extractive and abstractive techniques. The first component employs an extractive approach to identify key sentences within each document. This is achieved by a modification of the pre-trained BERT network, which derives semantically meaningful phrase embeddings using siamese and triplet network structures. The second component utilizes the VBD-LLaMA2-7B-50b model for abstractive summarization, ultimately generating the final summary document. Our proposed framework demonstrates a positive performance, attaining ROUGE-2 scores of 39.6% on the VN-MDS dataset and outperforming the state-of-the-art baselines.