Resumen de texto Multi-LLM

Multi-LLM Text Summarization

December 20, 2024

Autores: Jiangnan Fang, Cheng-Tse Liu, Jieun Kim, Yash Bhedaru, Ethan Liu, Nikhil Singh, Nedim Lipka, Puneet Mathur, Nesreen K. Ahmed, Franck Dernoncourt, Ryan A. Rossi, Hanieh Deilamsalehy

cs.AI

Resumen

En este trabajo, proponemos un marco de resumen Multi-LLM y exploramos dos estrategias diferentes de multi-LLM, incluyendo centralizada y descentralizada. Nuestro marco de resumen Multi-LLM tiene dos pasos fundamentalmente importantes en cada ronda de conversación: generación y evaluación. Estos pasos son diferentes dependiendo de si se utiliza nuestra estrategia de resumen Multi-LLM descentralizada o centralizada. Tanto en nuestras estrategias de multi-LLM descentralizada como centralizada, tenemos k LLMs diferentes que generan resúmenes diversos del texto. Sin embargo, durante la evaluación, nuestro enfoque de resumen Multi-LLM centralizado aprovecha un solo LLM para evaluar los resúmenes y seleccionar el mejor, mientras que se utilizan k LLMs para la sumarización multi-LLM descentralizada. En general, encontramos que nuestros enfoques de resumen Multi-LLM superan significativamente a los baselines que aprovechan solo un LLM hasta en un 3x. Estos resultados indican la efectividad de los enfoques Multi-LLM para la sumarización.

English

In this work, we propose a Multi-LLM summarization framework, and investigate two different multi-LLM strategies including centralized and decentralized. Our multi-LLM summarization framework has two fundamentally important steps at each round of conversation: generation and evaluation. These steps are different depending on whether our multi-LLM decentralized summarization is used or centralized. In both our multi-LLM decentralized and centralized strategies, we have k different LLMs that generate diverse summaries of the text. However, during evaluation, our multi-LLM centralized summarization approach leverages a single LLM to evaluate the summaries and select the best one whereas k LLMs are used for decentralized multi-LLM summarization. Overall, we find that our multi-LLM summarization approaches significantly outperform the baselines that leverage only a single LLM by up to 3x. These results indicate the effectiveness of multi-LLM approaches for summarization.