PPTC-Benchmark: Bewertung großer Sprachmodelle für die Erledigung von PowerPoint-Aufgaben

PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

November 3, 2023

Autoren: Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Duan Nan

cs.AI

Zusammenfassung

Aktuelle Evaluierungen von Large Language Models (LLMs) konzentrieren sich darauf, ihre Zero-Shot/Few-Shot-Fähigkeiten für grundlegende Aufgaben der natürlichen Sprachverarbeitung sowie ihre Fähigkeit, Anweisungen in Tool-APIs zu übersetzen, zu testen. Die Bewertung von LLMs, die komplexe Tools verwenden, um mehrstufige, multimodale Anweisungen in einer komplexen multimodalen Umgebung zu erfüllen, wurde jedoch noch nicht untersucht. Um diese Lücke zu schließen, führen wir den PowerPoint Task Completion (PPTC)-Benchmark ein, um die Fähigkeit von LLMs zu bewerten, PPT-Dateien basierend auf Benutzeranweisungen zu erstellen und zu bearbeiten. Er enthält 279 mehrstufige Sitzungen, die verschiedene Themen abdecken, sowie Hunderte von Anweisungen, die multimodale Operationen beinhalten. Wir schlagen außerdem das PPTX-Match-Evaluierungssystem vor, das bewertet, ob LLMs die Anweisung basierend auf der Vorhersagedatei und nicht der Label-API-Sequenz erfüllen, wodurch es verschiedene von LLMs generierte API-Sequenzen unterstützt. Wir messen 3 geschlossene LLMs und 6 Open-Source-LLMs. Die Ergebnisse zeigen, dass GPT-4 mit einer Genauigkeit von 75,1 % im Einzelgesprächstest andere LLMs übertrifft, jedoch Schwierigkeiten hat, gesamte Sitzungen abzuschließen, und nur eine Sitzungsgenauigkeit von 6 % erreicht. Wir identifizieren drei Hauptfehlerursachen in unserem Benchmark: Fehlerakkumulation in der mehrstufigen Sitzung, die Verarbeitung langer PPT-Vorlagen und die multimodale Wahrnehmung. Diese stellen große Herausforderungen für zukünftige LLM- und Agentensysteme dar. Wir veröffentlichen die Daten, den Code und das Evaluierungssystem von PPTC unter https://github.com/gydpku/PPTC.

English

Recent evaluations of Large Language Models (LLMs) have centered around testing their zero-shot/few-shot capabilities for basic natural language tasks and their ability to translate instructions into tool APIs. However, the evaluation of LLMs utilizing complex tools to finish multi-turn, multi-modal instructions in a complex multi-modal environment has not been investigated. To address this gap, we introduce the PowerPoint Task Completion (PPTC) benchmark to assess LLMs' ability to create and edit PPT files based on user instructions. It contains 279 multi-turn sessions covering diverse topics and hundreds of instructions involving multi-modal operations. We also propose the PPTX-Match Evaluation System that evaluates if LLMs finish the instruction based on the prediction file rather than the label API sequence, thus it supports various LLM-generated API sequences. We measure 3 closed LLMs and 6 open-source LLMs. The results show that GPT-4 outperforms other LLMs with 75.1\% accuracy in single-turn dialogue testing but faces challenges in completing entire sessions, achieving just 6\% session accuracy. We find three main error causes in our benchmark: error accumulation in the multi-turn session, long PPT template processing, and multi-modality perception. These pose great challenges for future LLM and agent systems. We release the data, code, and evaluation system of PPTC at https://github.com/gydpku/PPTC.