Многократное суммирование текста с использованием LLM

Multi-LLM Text Summarization

December 20, 2024

Авторы: Jiangnan Fang, Cheng-Tse Liu, Jieun Kim, Yash Bhedaru, Ethan Liu, Nikhil Singh, Nedim Lipka, Puneet Mathur, Nesreen K. Ahmed, Franck Dernoncourt, Ryan A. Rossi, Hanieh Deilamsalehy

cs.AI

Аннотация

В данной работе мы предлагаем многоуровневую схему суммаризации Multi-LLM и исследуем две различные стратегии многоуровневого LLM: централизованную и децентрализованную. Наша многоуровневая схема суммаризации Multi-LLM имеет два фундаментально важных этапа на каждом раунде разговора: генерация и оценка. Эти этапы различаются в зависимости от того, используется ли наша многоуровневая децентрализованная схема суммаризации Multi-LLM или централизованная. В обеих наших стратегиях многоуровневого LLM - децентрализованной и централизованной - у нас есть k различных LLM, которые генерируют разнообразные резюме текста. Однако при оценке наш подход централизованной многоуровневой суммаризации Multi-LLM использует один LLM для оценки резюме и выбора лучшего, в то время как для децентрализованной многоуровневой суммаризации Multi-LLM используется k LLM. В целом мы обнаружили, что наши подходы многоуровневой суммаризации Multi-LLM значительно превосходят базовые варианты, использующие только один LLM, до 3 раз. Эти результаты свидетельствуют об эффективности многоуровневых подходов для суммаризации.

English

In this work, we propose a Multi-LLM summarization framework, and investigate two different multi-LLM strategies including centralized and decentralized. Our multi-LLM summarization framework has two fundamentally important steps at each round of conversation: generation and evaluation. These steps are different depending on whether our multi-LLM decentralized summarization is used or centralized. In both our multi-LLM decentralized and centralized strategies, we have k different LLMs that generate diverse summaries of the text. However, during evaluation, our multi-LLM centralized summarization approach leverages a single LLM to evaluate the summaries and select the best one whereas k LLMs are used for decentralized multi-LLM summarization. Overall, we find that our multi-LLM summarization approaches significantly outperform the baselines that leverage only a single LLM by up to 3x. These results indicate the effectiveness of multi-LLM approaches for summarization.