PPTC Benchmark: Оценка крупных языковых моделей для выполнения задач в PowerPoint

PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

November 3, 2023

Авторы: Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Duan Nan

cs.AI

Аннотация

Недавние оценки больших языковых моделей (LLM) были сосредоточены на тестировании их способностей к выполнению задач в условиях zero-shot/few-shot для базовых задач обработки естественного языка, а также их способности переводить инструкции в API инструментов. Однако оценка LLM, использующих сложные инструменты для выполнения многошаговых, мультимодальных инструкций в сложной мультимодальной среде, до сих пор не исследовалась. Чтобы восполнить этот пробел, мы представляем бенчмарк PowerPoint Task Completion (PPTC) для оценки способности LLM создавать и редактировать файлы PPT на основе пользовательских инструкций. Он содержит 279 многошаговых сессий, охватывающих различные темы, и сотни инструкций, включающих мультимодальные операции. Мы также предлагаем систему оценки PPTX-Match, которая проверяет, выполнила ли LLM инструкцию на основе предсказанного файла, а не последовательности API меток, что позволяет поддерживать различные последовательности API, сгенерированные LLM. Мы протестировали 3 закрытые и 6 открытых LLM. Результаты показывают, что GPT-4 превосходит другие модели с точностью 75,1% в тестировании одношагового диалога, но сталкивается с трудностями при завершении целых сессий, достигая точности всего 6%. Мы выделяем три основные причины ошибок в нашем бенчмарке: накопление ошибок в многошаговых сессиях, обработка длинных шаблонов PPT и восприятие мультимодальности. Эти проблемы представляют серьезные вызовы для будущих систем LLM и агентов. Мы публикуем данные, код и систему оценки PPTC по адресу https://github.com/gydpku/PPTC.

English

Recent evaluations of Large Language Models (LLMs) have centered around testing their zero-shot/few-shot capabilities for basic natural language tasks and their ability to translate instructions into tool APIs. However, the evaluation of LLMs utilizing complex tools to finish multi-turn, multi-modal instructions in a complex multi-modal environment has not been investigated. To address this gap, we introduce the PowerPoint Task Completion (PPTC) benchmark to assess LLMs' ability to create and edit PPT files based on user instructions. It contains 279 multi-turn sessions covering diverse topics and hundreds of instructions involving multi-modal operations. We also propose the PPTX-Match Evaluation System that evaluates if LLMs finish the instruction based on the prediction file rather than the label API sequence, thus it supports various LLM-generated API sequences. We measure 3 closed LLMs and 6 open-source LLMs. The results show that GPT-4 outperforms other LLMs with 75.1\% accuracy in single-turn dialogue testing but faces challenges in completing entire sessions, achieving just 6\% session accuracy. We find three main error causes in our benchmark: error accumulation in the multi-turn session, long PPT template processing, and multi-modality perception. These pose great challenges for future LLM and agent systems. We release the data, code, and evaluation system of PPTC at https://github.com/gydpku/PPTC.