DELEGADO DE REUNIÃO: Comparando LLMs na Participação de Reuniões em Nosso Nome

MEETING DELEGATE: Benchmarking LLMs on Attending Meetings on Our Behalf

February 5, 2025

Autores: Lingxiang Hu, Shurun Yuan, Xiaoting Qin, Jue Zhang, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Resumo

Nos locais de trabalho contemporâneos, as reuniões são essenciais para a troca de ideias e garantia de alinhamento da equipe, mas frequentemente enfrentam desafios como consumo de tempo, conflitos de agendamento e participação ineficiente. Avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado suas fortes capacidades em geração de linguagem natural e raciocínio, levantando a questão: os LLMs podem delegar efetivamente participantes em reuniões? Para explorar isso, desenvolvemos um sistema protótipo de delegação de reuniões alimentado por LLM e criamos um benchmark abrangente usando transcrições reais de reuniões. Nossa avaliação revela que o GPT-4/4o mantém um desempenho equilibrado entre estratégias de engajamento ativo e cauteloso. Em contraste, o Gemini 1.5 Pro tende a ser mais cauteloso, enquanto o Gemini 1.5 Flash e o Llama3-8B/70B exibem tendências mais ativas. No geral, cerca de 60\% das respostas abordam pelo menos um ponto-chave da verdade fundamental. No entanto, melhorias são necessárias para reduzir conteúdo irrelevante ou repetitivo e aprimorar a tolerância a erros de transcrição comumente encontrados em ambientes do mundo real. Além disso, implementamos o sistema em ambientes práticos e coletamos feedback do mundo real por meio de demonstrações. Nossas descobertas destacam o potencial e os desafios de utilizar LLMs como delegados de reuniões, oferecendo insights valiosos sobre sua aplicação prática para aliviar o fardo das reuniões.

English

In contemporary workplaces, meetings are essential for exchanging ideas and ensuring team alignment but often face challenges such as time consumption, scheduling conflicts, and inefficient participation. Recent advancements in Large Language Models (LLMs) have demonstrated their strong capabilities in natural language generation and reasoning, prompting the question: can LLMs effectively delegate participants in meetings? To explore this, we develop a prototype LLM-powered meeting delegate system and create a comprehensive benchmark using real meeting transcripts. Our evaluation reveals that GPT-4/4o maintain balanced performance between active and cautious engagement strategies. In contrast, Gemini 1.5 Pro tends to be more cautious, while Gemini 1.5 Flash and Llama3-8B/70B display more active tendencies. Overall, about 60\% of responses address at least one key point from the ground-truth. However, improvements are needed to reduce irrelevant or repetitive content and enhance tolerance for transcription errors commonly found in real-world settings. Additionally, we implement the system in practical settings and collect real-world feedback from demos. Our findings underscore the potential and challenges of utilizing LLMs as meeting delegates, offering valuable insights into their practical application for alleviating the burden of meetings.