Tekstsamenvatting met behulp van Multi-LLM

Multi-LLM Text Summarization

December 20, 2024

Auteurs: Jiangnan Fang, Cheng-Tse Liu, Jieun Kim, Yash Bhedaru, Ethan Liu, Nikhil Singh, Nedim Lipka, Puneet Mathur, Nesreen K. Ahmed, Franck Dernoncourt, Ryan A. Rossi, Hanieh Deilamsalehy

cs.AI

Samenvatting

In dit werk stellen we een Multi-LLM samenvattingskader voor en onderzoeken we twee verschillende multi-LLM strategieën, namelijk gecentraliseerd en gedecentraliseerd. Ons multi-LLM samenvattingskader heeft twee fundamenteel belangrijke stappen bij elke ronde van het gesprek: generatie en evaluatie. Deze stappen verschillen afhankelijk van het gebruik van onze multi-LLM gedecentraliseerde samenvatting of gecentraliseerde samenvatting. In zowel onze multi-LLM gedecentraliseerde als gecentraliseerde strategieën hebben we k verschillende LLMs die diverse samenvattingen van de tekst genereren. Echter, tijdens de evaluatie maakt onze multi-LLM gecentraliseerde samenvattingsbenadering gebruik van een enkele LLM om de samenvattingen te evalueren en de beste te selecteren, terwijl k LLMs worden gebruikt voor gedecentraliseerde multi-LLM samenvatting. Over het algemeen blijkt dat onze multi-LLM samenvattingsbenaderingen aanzienlijk beter presteren dan de baselines die slechts één LLM gebruiken, tot wel 3x. Deze resultaten duiden op de effectiviteit van multi-LLM benaderingen voor samenvattingen.

English

In this work, we propose a Multi-LLM summarization framework, and investigate two different multi-LLM strategies including centralized and decentralized. Our multi-LLM summarization framework has two fundamentally important steps at each round of conversation: generation and evaluation. These steps are different depending on whether our multi-LLM decentralized summarization is used or centralized. In both our multi-LLM decentralized and centralized strategies, we have k different LLMs that generate diverse summaries of the text. However, during evaluation, our multi-LLM centralized summarization approach leverages a single LLM to evaluate the summaries and select the best one whereas k LLMs are used for decentralized multi-LLM summarization. Overall, we find that our multi-LLM summarization approaches significantly outperform the baselines that leverage only a single LLM by up to 3x. These results indicate the effectiveness of multi-LLM approaches for summarization.