BERT-VBD: Vietnamees Multi-Document Samenvattingsraamwerk

BERT-VBD: Vietnamese Multi-Document Summarization Framework

September 18, 2024

Auteurs: Tuan-Cuong Vuong, Trang Mai Xuan, Thien Van Luong

cs.AI

Samenvatting

Bij het aanpakken van de uitdaging van Multi-Document Summarization (MDS) zijn tal van methoden voorgesteld, die zowel extractieve als abstractive summarization technieken omvatten. Elk benadering heeft echter zijn eigen beperkingen, waardoor het minder effectief is om uitsluitend op een van beide te vertrouwen. Een opkomende en veelbelovende strategie omvat een synergetische fusie van extractieve en abstractive summarization methoden. Ondanks de overvloed aan studies op dit gebied, blijft onderzoek naar de gecombineerde methodologie schaars, met name in de context van Vietnamese taalverwerking. Dit artikel presenteert een nieuw Vietnamees MDS-framework dat gebruikmaakt van een tweecomponenten-pijplijnarchitectuur die extractieve en abstractive technieken integreert. Het eerste component maakt gebruik van een extractieve benadering om sleutelzinnen binnen elk document te identificeren. Dit wordt bereikt door een aanpassing van het voorgeleerde BERT-netwerk, dat semantisch betekenisvolle zinsinzetstukken afleidt met behulp van siamese en triplet-netwerkstructuren. Het tweede component maakt gebruik van het VBD-LLaMA2-7B-50b model voor abstractive summarization, waarbij uiteindelijk het definitieve samenvattende document wordt gegenereerd. Ons voorgestelde framework toont een positieve prestatie, met ROUGE-2 scores van 39.6% op de VN-MDS dataset en presteert beter dan de state-of-the-art baselines.

English

In tackling the challenge of Multi-Document Summarization (MDS), numerous methods have been proposed, spanning both extractive and abstractive summarization techniques. However, each approach has its own limitations, making it less effective to rely solely on either one. An emerging and promising strategy involves a synergistic fusion of extractive and abstractive summarization methods. Despite the plethora of studies in this domain, research on the combined methodology remains scarce, particularly in the context of Vietnamese language processing. This paper presents a novel Vietnamese MDS framework leveraging a two-component pipeline architecture that integrates extractive and abstractive techniques. The first component employs an extractive approach to identify key sentences within each document. This is achieved by a modification of the pre-trained BERT network, which derives semantically meaningful phrase embeddings using siamese and triplet network structures. The second component utilizes the VBD-LLaMA2-7B-50b model for abstractive summarization, ultimately generating the final summary document. Our proposed framework demonstrates a positive performance, attaining ROUGE-2 scores of 39.6% on the VN-MDS dataset and outperforming the state-of-the-art baselines.