BERT-VBD: ベトナム語マルチドキュメント要約フレームワーク

BERT-VBD: Vietnamese Multi-Document Summarization Framework

September 18, 2024

著者: Tuan-Cuong Vuong, Trang Mai Xuan, Thien Van Luong

cs.AI

要旨

複数文書要約（MDS）の課題に取り組む際、抽出型および生成型の要約技術を網羅する多数の手法が提案されてきました。しかしながら、各アプローチにはそれぞれ独自の制約があり、どちらか一方に完全に依存することは効果的ではありません。新興かつ有望な戦略として、抽出型と生成型の要約手法を統合する協調的な手法が挙げられます。この分野における研究が豊富である一方で、ベトナム語処理の文脈において、この組み合わせ手法に関する研究はまだ少ないです。本論文では、抽出型と生成型の手法を統合した二つのコンポーネントパイプラインアーキテクチャを活用した新しいベトナム語MDSフレームワークを提案します。最初のコンポーネントは、各文書内のキーセンテンスを特定するために抽出型アプローチを採用します。これは、事前学習されたBERTネットワークを修正して、シャムおよびトリプレットネットワーク構造を使用して意味のあるフレーズ埋め込みを導出することで達成されます。二番目のコンポーネントでは、生成型要約のためにVBD-LLaMA2-7B-50bモデルを使用し、最終的な要約文書を生成します。提案されたフレームワークは、VN-MDSデータセットで39.6%のROUGE-2スコアを達成し、最先端のベースラインを上回る良好なパフォーマンスを示しています。

English

In tackling the challenge of Multi-Document Summarization (MDS), numerous methods have been proposed, spanning both extractive and abstractive summarization techniques. However, each approach has its own limitations, making it less effective to rely solely on either one. An emerging and promising strategy involves a synergistic fusion of extractive and abstractive summarization methods. Despite the plethora of studies in this domain, research on the combined methodology remains scarce, particularly in the context of Vietnamese language processing. This paper presents a novel Vietnamese MDS framework leveraging a two-component pipeline architecture that integrates extractive and abstractive techniques. The first component employs an extractive approach to identify key sentences within each document. This is achieved by a modification of the pre-trained BERT network, which derives semantically meaningful phrase embeddings using siamese and triplet network structures. The second component utilizes the VBD-LLaMA2-7B-50b model for abstractive summarization, ultimately generating the final summary document. Our proposed framework demonstrates a positive performance, attaining ROUGE-2 scores of 39.6% on the VN-MDS dataset and outperforming the state-of-the-art baselines.