BERT-VBD: Estrutura de Sumarização Multidocumentos em Vietnamita

BERT-VBD: Vietnamese Multi-Document Summarization Framework

September 18, 2024

Autores: Tuan-Cuong Vuong, Trang Mai Xuan, Thien Van Luong

cs.AI

Resumo

Ao enfrentar o desafio da Sumarização de Múltiplos Documentos (MDS), inúmeros métodos foram propostos, abrangendo tanto técnicas de sumarização extrativa quanto abstrativa. No entanto, cada abordagem possui suas próprias limitações, tornando menos eficaz depender exclusivamente de uma delas. Uma estratégia emergente e promissora envolve uma fusão sinérgica de métodos de sumarização extrativa e abstrativa. Apesar da abundância de estudos nesse domínio, a pesquisa sobre a metodologia combinada ainda é escassa, especialmente no contexto do processamento de linguagem vietnamita. Este artigo apresenta um novo framework vietnamita de MDS que aproveita uma arquitetura de pipeline de dois componentes que integra técnicas extrativas e abstrativas. O primeiro componente emprega uma abordagem extrativa para identificar frases-chave dentro de cada documento. Isso é alcançado por meio de uma modificação na rede BERT pré-treinada, que obtém embeddings de frases semanticamente significativos usando estruturas de rede siamesa e triplet. O segundo componente utiliza o modelo VBD-LLaMA2-7B-50b para sumarização abstrativa, gerando, em última instância, o documento de resumo final. Nosso framework proposto demonstra um desempenho positivo, alcançando pontuações ROUGE-2 de 39,6% no conjunto de dados VN-MDS e superando as bases de referência de última geração.

English

In tackling the challenge of Multi-Document Summarization (MDS), numerous methods have been proposed, spanning both extractive and abstractive summarization techniques. However, each approach has its own limitations, making it less effective to rely solely on either one. An emerging and promising strategy involves a synergistic fusion of extractive and abstractive summarization methods. Despite the plethora of studies in this domain, research on the combined methodology remains scarce, particularly in the context of Vietnamese language processing. This paper presents a novel Vietnamese MDS framework leveraging a two-component pipeline architecture that integrates extractive and abstractive techniques. The first component employs an extractive approach to identify key sentences within each document. This is achieved by a modification of the pre-trained BERT network, which derives semantically meaningful phrase embeddings using siamese and triplet network structures. The second component utilizes the VBD-LLaMA2-7B-50b model for abstractive summarization, ultimately generating the final summary document. Our proposed framework demonstrates a positive performance, attaining ROUGE-2 scores of 39.6% on the VN-MDS dataset and outperforming the state-of-the-art baselines.