Benchmark PPTC : Évaluation des grands modèles de langage pour la réalisation de tâches PowerPoint

PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

November 3, 2023

Auteurs: Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Duan Nan

cs.AI

Résumé

Les évaluations récentes des modèles de langage à grande échelle (LLMs) se sont concentrées sur le test de leurs capacités en zero-shot/few-shot pour des tâches de base en traitement du langage naturel et sur leur aptitude à traduire des instructions en API d'outils. Cependant, l'évaluation des LLMs utilisant des outils complexes pour accomplir des instructions multi-tours et multi-modales dans un environnement multi-modal complexe n'a pas été explorée. Pour combler cette lacune, nous introduisons le benchmark PowerPoint Task Completion (PPTC) afin d'évaluer la capacité des LLMs à créer et modifier des fichiers PPT sur la base d'instructions utilisateur. Il contient 279 sessions multi-tours couvrant des sujets variés et des centaines d'instructions impliquant des opérations multi-modales. Nous proposons également le système d'évaluation PPTX-Match qui vérifie si les LLMs exécutent l'instruction en se basant sur le fichier de prédiction plutôt que sur la séquence d'API de référence, ce qui permet de supporter diverses séquences d'API générées par les LLMs. Nous avons mesuré 3 LLMs propriétaires et 6 LLMs open-source. Les résultats montrent que GPT-4 surpasse les autres LLMs avec une précision de 75,1 % dans les tests de dialogue en un seul tour, mais rencontre des difficultés à accomplir des sessions entières, atteignant seulement 6 % de précision par session. Nous identifions trois causes principales d'erreurs dans notre benchmark : l'accumulation d'erreurs dans les sessions multi-tours, le traitement des modèles PPT longs et la perception multi-modale. Ces éléments représentent des défis majeurs pour les futurs systèmes LLM et agents. Nous mettons à disposition les données, le code et le système d'évaluation de PPTC à l'adresse https://github.com/gydpku/PPTC.

English

Recent evaluations of Large Language Models (LLMs) have centered around testing their zero-shot/few-shot capabilities for basic natural language tasks and their ability to translate instructions into tool APIs. However, the evaluation of LLMs utilizing complex tools to finish multi-turn, multi-modal instructions in a complex multi-modal environment has not been investigated. To address this gap, we introduce the PowerPoint Task Completion (PPTC) benchmark to assess LLMs' ability to create and edit PPT files based on user instructions. It contains 279 multi-turn sessions covering diverse topics and hundreds of instructions involving multi-modal operations. We also propose the PPTX-Match Evaluation System that evaluates if LLMs finish the instruction based on the prediction file rather than the label API sequence, thus it supports various LLM-generated API sequences. We measure 3 closed LLMs and 6 open-source LLMs. The results show that GPT-4 outperforms other LLMs with 75.1\% accuracy in single-turn dialogue testing but faces challenges in completing entire sessions, achieving just 6\% session accuracy. We find three main error causes in our benchmark: error accumulation in the multi-turn session, long PPT template processing, and multi-modality perception. These pose great challenges for future LLM and agent systems. We release the data, code, and evaluation system of PPTC at https://github.com/gydpku/PPTC.