BERT-VBD: Marco de Resumen Multi-Documento para el Vietnamita

BERT-VBD: Vietnamese Multi-Document Summarization Framework

September 18, 2024

Autores: Tuan-Cuong Vuong, Trang Mai Xuan, Thien Van Luong

cs.AI

Resumen

Al abordar el desafío de la Sumarización de Múltiples Documentos (MDS), se han propuesto numerosos métodos, abarcando tanto técnicas de sumarización extractivas como abtractivas. Sin embargo, cada enfoque tiene sus propias limitaciones, lo que hace menos efectivo depender únicamente de uno u otro. Una estrategia emergente y prometedora implica una fusión sinérgica de métodos de sumarización extractivos y abtractivos. A pesar de la multitud de estudios en este ámbito, la investigación sobre la metodología combinada sigue siendo escasa, especialmente en el contexto del procesamiento del lenguaje vietnamita. Este artículo presenta un novedoso marco de trabajo vietnamita para MDS que aprovecha una arquitectura de dos componentes en serie que integra técnicas extractivas y abtractivas. El primer componente emplea un enfoque extractivo para identificar frases clave dentro de cada documento. Esto se logra mediante una modificación de la red BERT pre-entrenada, que deriva incrustaciones de frases semánticamente significativas utilizando estructuras de red siamesa y de tripletes. El segundo componente utiliza el modelo VBD-LLaMA2-7B-50b para la sumarización abtractiva, generando en última instancia el documento de resumen final. Nuestro marco propuesto demuestra un rendimiento positivo, logrando puntuaciones ROUGE-2 del 39.6% en el conjunto de datos VN-MDS y superando a los baselines de vanguardia.

English

In tackling the challenge of Multi-Document Summarization (MDS), numerous methods have been proposed, spanning both extractive and abstractive summarization techniques. However, each approach has its own limitations, making it less effective to rely solely on either one. An emerging and promising strategy involves a synergistic fusion of extractive and abstractive summarization methods. Despite the plethora of studies in this domain, research on the combined methodology remains scarce, particularly in the context of Vietnamese language processing. This paper presents a novel Vietnamese MDS framework leveraging a two-component pipeline architecture that integrates extractive and abstractive techniques. The first component employs an extractive approach to identify key sentences within each document. This is achieved by a modification of the pre-trained BERT network, which derives semantically meaningful phrase embeddings using siamese and triplet network structures. The second component utilizes the VBD-LLaMA2-7B-50b model for abstractive summarization, ultimately generating the final summary document. Our proposed framework demonstrates a positive performance, attaining ROUGE-2 scores of 39.6% on the VN-MDS dataset and outperforming the state-of-the-art baselines.