PPTC Benchmark: Evaluatie van Grote Taalmodellen voor het Voltooien van PowerPoint-taken

PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

November 3, 2023

Auteurs: Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Duan Nan

cs.AI

Samenvatting

Recente evaluaties van Large Language Models (LLMs) hebben zich gericht op het testen van hun zero-shot/few-shot-capaciteiten voor basale natuurlijke-taaltaken en hun vermogen om instructies te vertalen naar tool-API's. Echter, de evaluatie van LLMs die complexe tools gebruiken om multi-turn, multi-modale instructies in een complexe multi-modale omgeving te voltooien, is nog niet onderzocht. Om dit gat te dichten, introduceren we de PowerPoint Task Completion (PPTC) benchmark om het vermogen van LLMs te beoordelen om PPT-bestanden te maken en te bewerken op basis van gebruikersinstructies. Het bevat 279 multi-turn sessies die diverse onderwerpen beslaan en honderden instructies die multi-modale operaties omvatten. We stellen ook het PPTX-Match Evaluatiesysteem voor dat evalueert of LLMs de instructie voltooien op basis van het voorspellingsbestand in plaats van de label-API-reeks, waardoor het verschillende door LLM gegenereerde API-reeksen ondersteunt. We meten 3 gesloten LLMs en 6 open-source LLMs. De resultaten tonen aan dat GPT-4 andere LLMs overtreft met een nauwkeurigheid van 75,1\% in single-turn dialoogtesten, maar moeite heeft met het voltooien van volledige sessies, met slechts 6\% sessienauwkeurigheid. We identificeren drie hoofdredenen voor fouten in onze benchmark: foutaccumulatie in de multi-turn sessie, lange PPT-sjabloonverwerking en multi-modale perceptie. Deze vormen grote uitdagingen voor toekomstige LLM- en agentsystemen. We publiceren de data, code en het evaluatiesysteem van PPTC op https://github.com/gydpku/PPTC.

English

Recent evaluations of Large Language Models (LLMs) have centered around testing their zero-shot/few-shot capabilities for basic natural language tasks and their ability to translate instructions into tool APIs. However, the evaluation of LLMs utilizing complex tools to finish multi-turn, multi-modal instructions in a complex multi-modal environment has not been investigated. To address this gap, we introduce the PowerPoint Task Completion (PPTC) benchmark to assess LLMs' ability to create and edit PPT files based on user instructions. It contains 279 multi-turn sessions covering diverse topics and hundreds of instructions involving multi-modal operations. We also propose the PPTX-Match Evaluation System that evaluates if LLMs finish the instruction based on the prediction file rather than the label API sequence, thus it supports various LLM-generated API sequences. We measure 3 closed LLMs and 6 open-source LLMs. The results show that GPT-4 outperforms other LLMs with 75.1\% accuracy in single-turn dialogue testing but faces challenges in completing entire sessions, achieving just 6\% session accuracy. We find three main error causes in our benchmark: error accumulation in the multi-turn session, long PPT template processing, and multi-modality perception. These pose great challenges for future LLM and agent systems. We release the data, code, and evaluation system of PPTC at https://github.com/gydpku/PPTC.