会議代理者：LLMのベンチマークを設定し、我々の代わりに会議に出席することに関するもの

MEETING DELEGATE: Benchmarking LLMs on Attending Meetings on Our Behalf

February 5, 2025

著者: Lingxiang Hu, Shurun Yuan, Xiaoting Qin, Jue Zhang, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

要旨

現代の職場において、会議はアイデアの交換やチームの調整を確保するために不可欠ですが、時間の消費、スケジュールの衝突、効率の低い参加などの課題に直面することがよくあります。最近の大規模言語モデル（LLMs）の進歩は、自然言語生成や推論における強力な能力を示しており、LLMsが会議において参加者を効果的に代理できるかという問いを促しています。このために、我々はプロトタイプのLLMパワード会議代理システムを開発し、実際の会議の記録を使用して包括的なベンチマークを作成します。我々の評価によると、GPT-4/4oは積極的で慎重な参加戦略の間でバランスの取れたパフォーマンスを維持しています。一方、Gemini 1.5 Proはより慎重な傾向があり、Gemini 1.5 FlashやLlama3-8B/70Bはより積極的な傾向を示しています。全体として、約60％の応答が少なくとも一つの重要なポイントに対処しています。ただし、現実の環境でよく見られる転写エラーを軽減し、関連性のないまたは繰り返しの内容を減らすために改善が必要です。さらに、我々はシステムを実践的な環境に実装し、デモからの実世界のフィードバックを収集します。我々の調査結果は、会議の負担を軽減するためにLLMsを会議代理として利用する可能性と課題を強調し、実用的な応用に関する貴重な示唆を提供しています。

English

In contemporary workplaces, meetings are essential for exchanging ideas and ensuring team alignment but often face challenges such as time consumption, scheduling conflicts, and inefficient participation. Recent advancements in Large Language Models (LLMs) have demonstrated their strong capabilities in natural language generation and reasoning, prompting the question: can LLMs effectively delegate participants in meetings? To explore this, we develop a prototype LLM-powered meeting delegate system and create a comprehensive benchmark using real meeting transcripts. Our evaluation reveals that GPT-4/4o maintain balanced performance between active and cautious engagement strategies. In contrast, Gemini 1.5 Pro tends to be more cautious, while Gemini 1.5 Flash and Llama3-8B/70B display more active tendencies. Overall, about 60\% of responses address at least one key point from the ground-truth. However, improvements are needed to reduce irrelevant or repetitive content and enhance tolerance for transcription errors commonly found in real-world settings. Additionally, we implement the system in practical settings and collect real-world feedback from demos. Our findings underscore the potential and challenges of utilizing LLMs as meeting delegates, offering valuable insights into their practical application for alleviating the burden of meetings.