BERT-VBD: Фреймворк многодокументного резюмирования на вьетнамском языке

BERT-VBD: Vietnamese Multi-Document Summarization Framework

September 18, 2024

Авторы: Tuan-Cuong Vuong, Trang Mai Xuan, Thien Van Luong

cs.AI

Аннотация

При решении задачи многодокументного резюмирования (MDS) было предложено множество методов, охватывающих как экстрактивные, так и абстрактивные техники резюмирования. Однако каждый подход имеет свои ограничения, что делает менее эффективным полагаться исключительно на один из них. Возникающая и многообещающая стратегия включает синергетическое объединение методов экстрактивного и абстрактивного резюмирования. Несмотря на множество исследований в этой области, исследования по комбинированной методологии остаются редкими, особенно в контексте обработки вьетнамского языка. В данной статье представлена новая вьетнамская структура MDS, использующая двухкомпонентную архитектуру конвейера, интегрирующую экстрактивные и абстрактивные техники. Первый компонент применяет экстрактивный подход для выявления ключевых предложений в каждом документе. Это достигается путем модификации предварительно обученной сети BERT, которая производит семантически значимые векторы фраз с использованием структур сетей сиамских и триплетов. Второй компонент использует модель VBD-LLaMA2-7B-50b для абстрактивного резюмирования, в конечном итоге генерируя окончательный документ-резюме. Предложенная нами структура демонстрирует положительную производительность, достигая показателей ROUGE-2 на уровне 39,6% на наборе данных VN-MDS и превосходя современные базовые уровни.

English

In tackling the challenge of Multi-Document Summarization (MDS), numerous methods have been proposed, spanning both extractive and abstractive summarization techniques. However, each approach has its own limitations, making it less effective to rely solely on either one. An emerging and promising strategy involves a synergistic fusion of extractive and abstractive summarization methods. Despite the plethora of studies in this domain, research on the combined methodology remains scarce, particularly in the context of Vietnamese language processing. This paper presents a novel Vietnamese MDS framework leveraging a two-component pipeline architecture that integrates extractive and abstractive techniques. The first component employs an extractive approach to identify key sentences within each document. This is achieved by a modification of the pre-trained BERT network, which derives semantically meaningful phrase embeddings using siamese and triplet network structures. The second component utilizes the VBD-LLaMA2-7B-50b model for abstractive summarization, ultimately generating the final summary document. Our proposed framework demonstrates a positive performance, attaining ROUGE-2 scores of 39.6% on the VN-MDS dataset and outperforming the state-of-the-art baselines.