DELEGAZIONE DELL'INCONTRO: Confronto delle LLM nella partecipazione a incontri per nostro conto

MEETING DELEGATE: Benchmarking LLMs on Attending Meetings on Our Behalf

February 5, 2025

Autori: Lingxiang Hu, Shurun Yuan, Xiaoting Qin, Jue Zhang, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Abstract

Nei luoghi di lavoro contemporanei, le riunioni sono essenziali per lo scambio di idee e per garantire l'allineamento del team, ma spesso si trovano ad affrontare sfide come il consumo di tempo, conflitti di programmazione e partecipazione inefficiente. I recenti progressi nei Grandi Modelli Linguistici (LLM) hanno dimostrato le loro forti capacità nella generazione e nel ragionamento del linguaggio naturale, sollevando la domanda: possono i LLM delegare efficacemente i partecipanti alle riunioni? Per esplorare questo aspetto, sviluppiamo un sistema prototipo di delega alle riunioni basato su LLM e creiamo un benchmark completo utilizzando veri trascritti di riunioni. La nostra valutazione rivela che GPT-4/4o mantengono un equilibrio nelle prestazioni tra strategie di coinvolgimento attivo e cauto. Al contrario, Gemini 1.5 Pro tende ad essere più cauto, mentre Gemini 1.5 Flash e Llama3-8B/70B mostrano tendenze più attive. Complessivamente, circa il 60\% delle risposte affronta almeno un punto chiave della verità di riferimento. Tuttavia, sono necessari miglioramenti per ridurre contenuti irrilevanti o ripetitivi e migliorare la tolleranza agli errori di trascrizione comunemente riscontrati in contesti reali. Inoltre, implementiamo il sistema in contesti pratici e raccogliamo feedback reali dalle dimostrazioni. Le nostre conclusioni sottolineano il potenziale e le sfide dell'utilizzo dei LLM come delegati alle riunioni, offrendo preziose intuizioni sulla loro applicazione pratica per alleviare il peso delle riunioni.

English

In contemporary workplaces, meetings are essential for exchanging ideas and ensuring team alignment but often face challenges such as time consumption, scheduling conflicts, and inefficient participation. Recent advancements in Large Language Models (LLMs) have demonstrated their strong capabilities in natural language generation and reasoning, prompting the question: can LLMs effectively delegate participants in meetings? To explore this, we develop a prototype LLM-powered meeting delegate system and create a comprehensive benchmark using real meeting transcripts. Our evaluation reveals that GPT-4/4o maintain balanced performance between active and cautious engagement strategies. In contrast, Gemini 1.5 Pro tends to be more cautious, while Gemini 1.5 Flash and Llama3-8B/70B display more active tendencies. Overall, about 60\% of responses address at least one key point from the ground-truth. However, improvements are needed to reduce irrelevant or repetitive content and enhance tolerance for transcription errors commonly found in real-world settings. Additionally, we implement the system in practical settings and collect real-world feedback from demos. Our findings underscore the potential and challenges of utilizing LLMs as meeting delegates, offering valuable insights into their practical application for alleviating the burden of meetings.