BERT-VBD: Framework di Riassunto Multi-Documento in Vietnamita

BERT-VBD: Vietnamese Multi-Document Summarization Framework

September 18, 2024

Autori: Tuan-Cuong Vuong, Trang Mai Xuan, Thien Van Luong

cs.AI

Abstract

Nel affrontare la sfida della Riassunzione Multi-Documento (MDS), sono state proposte numerose metodologie, che spaziano tra tecniche di riassunzione estrattive e astrattive. Tuttavia, ciascun approccio ha i propri limiti, rendendo meno efficace fare affidamento esclusivamente su uno dei due. Una strategia emergente e promettente coinvolge una fusione sinergica di metodi di riassunzione estrattivi e astrattivi. Nonostante la moltitudine di studi in questo ambito, la ricerca sulla metodologia combinata rimane scarsa, in particolare nel contesto dell'elaborazione del linguaggio vietnamita. Questo articolo presenta un nuovo framework vietnamita MDS che sfrutta un'architettura a due componenti che integra tecniche estrattive e astrattive. La prima componente utilizza un approccio estrattivo per identificare le frasi chiave all'interno di ciascun documento. Ciò è ottenuto mediante una modifica della rete BERT pre-addestrata, che deriva incapsulamenti di frasi semanticamente significativi utilizzando strutture di rete siamesi e triplet. La seconda componente utilizza il modello VBD-LLaMA2-7B-50b per la riassunzione astrattiva, generando infine il documento di riassunto finale. Il nostro framework proposto dimostra una performance positiva, raggiungendo punteggi ROUGE-2 del 39.6% sul dataset VN-MDS e superando i baselines all'avanguardia.

English

In tackling the challenge of Multi-Document Summarization (MDS), numerous methods have been proposed, spanning both extractive and abstractive summarization techniques. However, each approach has its own limitations, making it less effective to rely solely on either one. An emerging and promising strategy involves a synergistic fusion of extractive and abstractive summarization methods. Despite the plethora of studies in this domain, research on the combined methodology remains scarce, particularly in the context of Vietnamese language processing. This paper presents a novel Vietnamese MDS framework leveraging a two-component pipeline architecture that integrates extractive and abstractive techniques. The first component employs an extractive approach to identify key sentences within each document. This is achieved by a modification of the pre-trained BERT network, which derives semantically meaningful phrase embeddings using siamese and triplet network structures. The second component utilizes the VBD-LLaMA2-7B-50b model for abstractive summarization, ultimately generating the final summary document. Our proposed framework demonstrates a positive performance, attaining ROUGE-2 scores of 39.6% on the VN-MDS dataset and outperforming the state-of-the-art baselines.