PPTC Benchmark: Evaluación de Modelos de Lenguaje de Gran Escala para la Finalización de Tareas en PowerPoint

PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

November 3, 2023

Autores: Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Duan Nan

cs.AI

Resumen

Las evaluaciones recientes de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) se han centrado en probar sus capacidades zero-shot/few-shot para tareas básicas de procesamiento de lenguaje natural y su habilidad para traducir instrucciones en APIs de herramientas. Sin embargo, la evaluación de LLMs que utilizan herramientas complejas para completar instrucciones multimodales y de múltiples turnos en un entorno multimodal complejo no ha sido investigada. Para abordar esta brecha, presentamos el benchmark de Finalización de Tareas en PowerPoint (PPTC, por sus siglas en inglés) para evaluar la capacidad de los LLMs de crear y editar archivos PPT basados en instrucciones de usuario. Este contiene 279 sesiones de múltiples turnos que cubren diversos temas y cientos de instrucciones que involucran operaciones multimodales. También proponemos el Sistema de Evaluación PPTX-Match, que evalúa si los LLMs completan la instrucción basándose en el archivo de predicción en lugar de la secuencia de API etiquetada, lo que permite soportar diversas secuencias de API generadas por LLMs. Medimos 3 LLMs cerrados y 6 LLMs de código abierto. Los resultados muestran que GPT-4 supera a otros LLMs con un 75.1\% de precisión en pruebas de diálogo de un solo turno, pero enfrenta desafíos al completar sesiones completas, logrando solo un 6\% de precisión en sesiones. Identificamos tres causas principales de error en nuestro benchmark: acumulación de errores en sesiones de múltiples turnos, procesamiento de plantillas largas de PPT y percepción multimodal. Estos aspectos representan grandes desafíos para futuros sistemas de LLMs y agentes. Publicamos los datos, código y sistema de evaluación de PPTC en https://github.com/gydpku/PPTC.

English

Recent evaluations of Large Language Models (LLMs) have centered around testing their zero-shot/few-shot capabilities for basic natural language tasks and their ability to translate instructions into tool APIs. However, the evaluation of LLMs utilizing complex tools to finish multi-turn, multi-modal instructions in a complex multi-modal environment has not been investigated. To address this gap, we introduce the PowerPoint Task Completion (PPTC) benchmark to assess LLMs' ability to create and edit PPT files based on user instructions. It contains 279 multi-turn sessions covering diverse topics and hundreds of instructions involving multi-modal operations. We also propose the PPTX-Match Evaluation System that evaluates if LLMs finish the instruction based on the prediction file rather than the label API sequence, thus it supports various LLM-generated API sequences. We measure 3 closed LLMs and 6 open-source LLMs. The results show that GPT-4 outperforms other LLMs with 75.1\% accuracy in single-turn dialogue testing but faces challenges in completing entire sessions, achieving just 6\% session accuracy. We find three main error causes in our benchmark: error accumulation in the multi-turn session, long PPT template processing, and multi-modality perception. These pose great challenges for future LLM and agent systems. We release the data, code, and evaluation system of PPTC at https://github.com/gydpku/PPTC.