PPTC Benchmark: Valutazione dei Modelli Linguistici di Grandi Dimensioni per il Completamento di Attività in PowerPoint

PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

November 3, 2023

Autori: Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Duan Nan

cs.AI

Abstract

Le recenti valutazioni dei Large Language Models (LLMs) si sono concentrate sul testare le loro capacità zero-shot/few-shot per compiti di base di elaborazione del linguaggio naturale e sulla loro abilità di tradurre istruzioni in API di strumenti. Tuttavia, la valutazione degli LLMs che utilizzano strumenti complessi per completare istruzioni multi-turn e multi-modali in un ambiente complesso e multi-modale non è stata ancora esplorata. Per colmare questa lacuna, introduciamo il benchmark PowerPoint Task Completion (PPTC) per valutare la capacità degli LLMs di creare e modificare file PPT basandosi sulle istruzioni dell'utente. Esso contiene 279 sessioni multi-turn che coprono argomenti diversi e centinaia di istruzioni che coinvolgono operazioni multi-modali. Proponiamo inoltre il sistema di valutazione PPTX-Match che valuta se gli LLMs completano l'istruzione basandosi sul file di previsione piuttosto che sulla sequenza API di riferimento, supportando così varie sequenze API generate dagli LLMs. Misuriamo 3 LLMs chiusi e 6 LLMs open-source. I risultati mostrano che GPT-4 supera gli altri LLMs con un'accuratezza del 75,1% nei test di dialogo a turno singolo, ma incontra difficoltà nel completare intere sessioni, raggiungendo solo un'accuratezza del 6% per sessione. Identifichiamo tre principali cause di errore nel nostro benchmark: accumulo di errori nella sessione multi-turn, elaborazione di modelli PPT lunghi e percezione multi-modale. Questi rappresentano grandi sfide per i futuri sistemi LLM e agenti. Rilasciamo i dati, il codice e il sistema di valutazione di PPTC all'indirizzo https://github.com/gydpku/PPTC.

English

Recent evaluations of Large Language Models (LLMs) have centered around testing their zero-shot/few-shot capabilities for basic natural language tasks and their ability to translate instructions into tool APIs. However, the evaluation of LLMs utilizing complex tools to finish multi-turn, multi-modal instructions in a complex multi-modal environment has not been investigated. To address this gap, we introduce the PowerPoint Task Completion (PPTC) benchmark to assess LLMs' ability to create and edit PPT files based on user instructions. It contains 279 multi-turn sessions covering diverse topics and hundreds of instructions involving multi-modal operations. We also propose the PPTX-Match Evaluation System that evaluates if LLMs finish the instruction based on the prediction file rather than the label API sequence, thus it supports various LLM-generated API sequences. We measure 3 closed LLMs and 6 open-source LLMs. The results show that GPT-4 outperforms other LLMs with 75.1\% accuracy in single-turn dialogue testing but faces challenges in completing entire sessions, achieving just 6\% session accuracy. We find three main error causes in our benchmark: error accumulation in the multi-turn session, long PPT template processing, and multi-modality perception. These pose great challenges for future LLM and agent systems. We release the data, code, and evaluation system of PPTC at https://github.com/gydpku/PPTC.