BERT-VBD : Cadre de Résumé Multi-Document en Vietnamien

BERT-VBD: Vietnamese Multi-Document Summarization Framework

September 18, 2024

Auteurs: Tuan-Cuong Vuong, Trang Mai Xuan, Thien Van Luong

cs.AI

Résumé

Pour relever le défi de la Résumé Multi-Document (MDS), de nombreuses méthodes ont été proposées, couvrant à la fois les techniques de résumé extractif et abstrait. Cependant, chaque approche a ses propres limitations, ce qui rend moins efficace de s'appuyer uniquement sur l'une ou l'autre. Une stratégie émergente et prometteuse implique une fusion synergique des méthodes de résumé extractif et abstrait. Malgré la pléthore d'études dans ce domaine, la recherche sur la méthodologie combinée reste rare, en particulier dans le contexte du traitement du langage vietnamien. Cet article présente un nouveau cadre de MDS vietnamien exploitant une architecture de pipeline à deux composants qui intègre des techniques extractives et abstraites. Le premier composant utilise une approche extractive pour identifier les phrases clés dans chaque document. Cela est réalisé par une modification du réseau BERT pré-entraîné, qui dérive des plongements de phrases sémantiquement significatifs en utilisant des structures de réseau siamois et triplet. Le deuxième composant utilise le modèle VBD-LLaMA2-7B-50b pour le résumé abstrait, générant finalement le document résumé final. Notre cadre proposé démontre des performances positives, atteignant des scores ROUGE-2 de 39,6% sur l'ensemble de données VN-MDS et surpassant les références de pointe.

English

In tackling the challenge of Multi-Document Summarization (MDS), numerous methods have been proposed, spanning both extractive and abstractive summarization techniques. However, each approach has its own limitations, making it less effective to rely solely on either one. An emerging and promising strategy involves a synergistic fusion of extractive and abstractive summarization methods. Despite the plethora of studies in this domain, research on the combined methodology remains scarce, particularly in the context of Vietnamese language processing. This paper presents a novel Vietnamese MDS framework leveraging a two-component pipeline architecture that integrates extractive and abstractive techniques. The first component employs an extractive approach to identify key sentences within each document. This is achieved by a modification of the pre-trained BERT network, which derives semantically meaningful phrase embeddings using siamese and triplet network structures. The second component utilizes the VBD-LLaMA2-7B-50b model for abstractive summarization, ultimately generating the final summary document. Our proposed framework demonstrates a positive performance, attaining ROUGE-2 scores of 39.6% on the VN-MDS dataset and outperforming the state-of-the-art baselines.