Multi-LLM Textzusammenfassung

Multi-LLM Text Summarization

December 20, 2024

Autoren: Jiangnan Fang, Cheng-Tse Liu, Jieun Kim, Yash Bhedaru, Ethan Liu, Nikhil Singh, Nedim Lipka, Puneet Mathur, Nesreen K. Ahmed, Franck Dernoncourt, Ryan A. Rossi, Hanieh Deilamsalehy

cs.AI

Zusammenfassung

In dieser Arbeit schlagen wir ein Multi-LLM Zusammenfassungsrahmen vor und untersuchen zwei verschiedene Multi-LLM-Strategien, einschließlich zentralisierter und dezentralisierter Ansätze. Unser Multi-LLM Zusammenfassungsrahmen umfasst zwei grundlegend wichtige Schritte in jeder Runde des Gesprächs: Generierung und Bewertung. Diese Schritte unterscheiden sich je nachdem, ob unsere Multi-LLM dezentralisierte oder zentralisierte Zusammenfassung verwendet wird. In beiden Strategien, sowohl der Multi-LLM dezentralisierten als auch der zentralisierten, haben wir k verschiedene LLMs, die vielfältige Zusammenfassungen des Textes generieren. Während der Bewertung nutzt unser Multi-LLM zentralisierter Zusammenfassungsansatz jedoch einen einzigen LLM zur Bewertung der Zusammenfassungen und Auswahl der besten, während k LLMs für die dezentralisierte Multi-LLM-Zusammenfassung verwendet werden. Insgesamt stellen wir fest, dass unsere Multi-LLM-Zusammenfassungsansätze die Baselines, die nur einen einzigen LLM verwenden, signifikant um bis zu 3x übertreffen. Diese Ergebnisse deuten auf die Wirksamkeit von Multi-LLM-Ansätzen für die Zusammenfassung hin.

English

In this work, we propose a Multi-LLM summarization framework, and investigate two different multi-LLM strategies including centralized and decentralized. Our multi-LLM summarization framework has two fundamentally important steps at each round of conversation: generation and evaluation. These steps are different depending on whether our multi-LLM decentralized summarization is used or centralized. In both our multi-LLM decentralized and centralized strategies, we have k different LLMs that generate diverse summaries of the text. However, during evaluation, our multi-LLM centralized summarization approach leverages a single LLM to evaluate the summaries and select the best one whereas k LLMs are used for decentralized multi-LLM summarization. Overall, we find that our multi-LLM summarization approaches significantly outperform the baselines that leverage only a single LLM by up to 3x. These results indicate the effectiveness of multi-LLM approaches for summarization.