PPTCベンチマーク：パワーポイントタスク完了のための大規模言語モデルの評価

PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

November 3, 2023

著者: Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Duan Nan

cs.AI

要旨

大規模言語モデル（LLMs）の最近の評価は、基本的な自然言語タスクに対するゼロショット/フェウショット能力や、指示をツールAPIに変換する能力のテストに焦点が当てられてきました。しかし、複雑なマルチモーダル環境において、複雑なツールを活用してマルチターン・マルチモーダルの指示を完了するLLMsの評価は、まだ調査されていません。このギャップを埋めるため、我々はPowerPointタスク完了（PPTC）ベンチマークを導入し、ユーザーの指示に基づいてPPTファイルを作成・編集するLLMsの能力を評価します。このベンチマークには、多様なトピックをカバーする279のマルチターンセッションと、マルチモーダル操作を含む数百の指示が含まれています。また、ラベルAPIシーケンスではなく予測ファイルに基づいてLLMsが指示を完了したかどうかを評価するPPTX-Match評価システムを提案します。これにより、様々なLLM生成APIシーケンスをサポートします。我々は3つのクローズドLLMと6つのオープンソースLLMを測定しました。結果は、GPT-4がシングルターンダイアログテストで75.1%の精度で他のLLMsを上回る一方、セッション全体を完了するには課題があり、わずか6%のセッション精度しか達成できなかったことを示しています。我々のベンチマークでは、マルチターンセッションにおけるエラーの蓄積、長いPPTテンプレートの処理、マルチモーダル知覚の3つの主要なエラー原因を特定しました。これらは、将来のLLMおよびエージェントシステムにとって大きな課題となります。我々はPPTCのデータ、コード、評価システムをhttps://github.com/gydpku/PPTCで公開しています。

English

Recent evaluations of Large Language Models (LLMs) have centered around testing their zero-shot/few-shot capabilities for basic natural language tasks and their ability to translate instructions into tool APIs. However, the evaluation of LLMs utilizing complex tools to finish multi-turn, multi-modal instructions in a complex multi-modal environment has not been investigated. To address this gap, we introduce the PowerPoint Task Completion (PPTC) benchmark to assess LLMs' ability to create and edit PPT files based on user instructions. It contains 279 multi-turn sessions covering diverse topics and hundreds of instructions involving multi-modal operations. We also propose the PPTX-Match Evaluation System that evaluates if LLMs finish the instruction based on the prediction file rather than the label API sequence, thus it supports various LLM-generated API sequences. We measure 3 closed LLMs and 6 open-source LLMs. The results show that GPT-4 outperforms other LLMs with 75.1\% accuracy in single-turn dialogue testing but faces challenges in completing entire sessions, achieving just 6\% session accuracy. We find three main error causes in our benchmark: error accumulation in the multi-turn session, long PPT template processing, and multi-modality perception. These pose great challenges for future LLM and agent systems. We release the data, code, and evaluation system of PPTC at https://github.com/gydpku/PPTC.