Résumé de texte multi-LLM

Multi-LLM Text Summarization

December 20, 2024

Auteurs: Jiangnan Fang, Cheng-Tse Liu, Jieun Kim, Yash Bhedaru, Ethan Liu, Nikhil Singh, Nedim Lipka, Puneet Mathur, Nesreen K. Ahmed, Franck Dernoncourt, Ryan A. Rossi, Hanieh Deilamsalehy

cs.AI

Résumé

Dans ce travail, nous proposons un cadre de résumé Multi-LLM et étudions deux stratégies Multi-LLM différentes, à savoir centralisée et décentralisée. Notre cadre de résumé Multi-LLM comporte deux étapes fondamentales à chaque tour de conversation : la génération et l'évaluation. Ces étapes diffèrent selon que notre résumé Multi-LLM décentralisé ou centralisé est utilisé. Dans nos deux stratégies Multi-LLM décentralisée et centralisée, nous avons k LLM différents qui génèrent des résumés divers du texte. Cependant, lors de l'évaluation, notre approche de résumé Multi-LLM centralisé exploite un seul LLM pour évaluer les résumés et sélectionner le meilleur, tandis que k LLM sont utilisés pour le résumé Multi-LLM décentralisé. Dans l'ensemble, nous constatons que nos approches de résumé Multi-LLM surpassent significativement les références qui n'utilisent qu'un seul LLM, jusqu'à 3 fois. Ces résultats indiquent l'efficacité des approches Multi-LLM pour le résumé.

English

In this work, we propose a Multi-LLM summarization framework, and investigate two different multi-LLM strategies including centralized and decentralized. Our multi-LLM summarization framework has two fundamentally important steps at each round of conversation: generation and evaluation. These steps are different depending on whether our multi-LLM decentralized summarization is used or centralized. In both our multi-LLM decentralized and centralized strategies, we have k different LLMs that generate diverse summaries of the text. However, during evaluation, our multi-LLM centralized summarization approach leverages a single LLM to evaluate the summaries and select the best one whereas k LLMs are used for decentralized multi-LLM summarization. Overall, we find that our multi-LLM summarization approaches significantly outperform the baselines that leverage only a single LLM by up to 3x. These results indicate the effectiveness of multi-LLM approaches for summarization.