マルチ-LLM テキスト要約

Multi-LLM Text Summarization

December 20, 2024

著者: Jiangnan Fang, Cheng-Tse Liu, Jieun Kim, Yash Bhedaru, Ethan Liu, Nikhil Singh, Nedim Lipka, Puneet Mathur, Nesreen K. Ahmed, Franck Dernoncourt, Ryan A. Rossi, Hanieh Deilamsalehy

cs.AI

要旨

本研究では、Multi-LLM要約フレームワークを提案し、中央集権型と分散型を含む2つの異なるMulti-LLM戦略を調査しました。当社のMulti-LLM要約フレームワークは、会話の各ラウンドで重要な2つの基本的なステップ、生成と評価、を持っています。これらのステップは、当社のMulti-LLM分散型要約か中央集権型要約かによって異なります。当社のMulti-LLM分散型戦略と中央集権型戦略の両方において、異なるk個のLLMがテキストの多様な要約を生成します。ただし、評価時には、当社のMulti-LLM中央集権型要約手法は単一のLLMを活用して要約を評価し、最適な要約を選択しますが、分散型Multi-LLM要約ではk個のLLMが使用されます。全体として、当社のMulti-LLM要約手法は、単一のLLMのみを活用するベースラインを最大3倍上回る結果を示しました。これらの結果は、要約のためのMulti-LLM手法の効果を示しています。

English

In this work, we propose a Multi-LLM summarization framework, and investigate two different multi-LLM strategies including centralized and decentralized. Our multi-LLM summarization framework has two fundamentally important steps at each round of conversation: generation and evaluation. These steps are different depending on whether our multi-LLM decentralized summarization is used or centralized. In both our multi-LLM decentralized and centralized strategies, we have k different LLMs that generate diverse summaries of the text. However, during evaluation, our multi-LLM centralized summarization approach leverages a single LLM to evaluate the summaries and select the best one whereas k LLMs are used for decentralized multi-LLM summarization. Overall, we find that our multi-LLM summarization approaches significantly outperform the baselines that leverage only a single LLM by up to 3x. These results indicate the effectiveness of multi-LLM approaches for summarization.