InstructExcel: Um Benchmark para Instruções em Linguagem Natural no Excel

InstructExcel: A Benchmark for Natural Language Instruction in Excel

October 23, 2023

Autores: Justin Payan, Swaroop Mishra, Mukul Singh, Carina Negreanu, Christian Poelitz, Chitta Baral, Subhro Roy, Rasika Chakravarthy, Benjamin Van Durme, Elnaz Nouri

cs.AI

Resumo

Com a evolução dos Modelos de Linguagem de Grande Escala (LLMs), podemos resolver tarefas de NLP cada vez mais complexas em diversos domínios, incluindo planilhas. Este trabalho investiga se os LLMs podem gerar código (Excel OfficeScripts, uma API TypeScript para executar diversas tarefas no Excel) que resolve tarefas específicas do Excel fornecidas por meio de instruções em linguagem natural do usuário. Para isso, introduzimos um novo benchmark em larga escala, o InstructExcel, criado ao aproveitar o recurso 'Automatizar' do Excel para gerar automaticamente OfficeScripts a partir das ações dos usuários. Nosso benchmark inclui mais de 10 mil amostras, abrangendo mais de 170 operações do Excel em 2.000 planilhas do Excel disponíveis publicamente. Experimentos em diversos cenários de zero-shot e few-shot mostram que o InstructExcel é um benchmark desafiador para modelos de última geração, como o GPT-4. Observamos que (1) usar o GPT-4 em vez do GPT-3.5, (2) fornecer mais exemplos em contexto e (3) o uso de prompts dinâmicos podem ajudar a melhorar o desempenho neste benchmark.

English

With the evolution of Large Language Models (LLMs) we can solve increasingly more complex NLP tasks across various domains, including spreadsheets. This work investigates whether LLMs can generate code (Excel OfficeScripts, a TypeScript API for executing many tasks in Excel) that solves Excel specific tasks provided via natural language user instructions. To do so we introduce a new large-scale benchmark, InstructExcel, created by leveraging the 'Automate' feature in Excel to automatically generate OfficeScripts from users' actions. Our benchmark includes over 10k samples covering 170+ Excel operations across 2,000 publicly available Excel spreadsheets. Experiments across various zero-shot and few-shot settings show that InstructExcel is a hard benchmark for state of the art models like GPT-4. We observe that (1) using GPT-4 over GPT-3.5, (2) providing more in-context examples, and (3) dynamic prompting can help improve performance on this benchmark.