Spreadsheet-RL: Avançando Agentes de Modelos de Linguagem de Grande Escala em Tarefas Realistas de Planilhas via Aprendizado por Reforço

Resumo

Sistemas de planilhas (por exemplo, Microsoft Excel, Google Sheets) desempenham um papel central em fluxos de trabalho modernos centrados em dados. À medida que agentes de IA se tornam cada vez mais capazes de automatizar tarefas complexas, como controlar computadores e gerar apresentações, construir um agente de planilhas orientado por IA emergiu como uma direção de pesquisa promissora. A maioria dos agentes de planilhas existentes depende de prompts especializados sobre LLMs de propósito geral; embora esse design tenha potencial em operações simples de planilhas, ele tem dificuldade em gerenciar os fluxos de trabalho complexos e de múltiplas etapas típicos de aplicações do mundo real. Apresentamos o Spreadsheet-RL, um framework de ajuste fino baseado em aprendizado por reforço (RL) projetado para treinar agentes especializados em planilhas em um ambiente realista do Microsoft Excel. O Spreadsheet-RL conta com um pipeline automatizado para coleta escalável de pares de planilhas iniciais e finais a partir de fóruns online, bem como tarefas de avaliação específicas de domínio em áreas como finanças e gestão da cadeia de suprimentos, que compilamos no novo conjunto de dados de referência Domain-Spreadsheet. Ele também inclui um ambiente Spreadsheet Gym projetado para RL em múltiplas etapas: o Spreadsheet Gym expõe ampla funcionalidade do Excel por meio de um sandbox Python, juntamente com uma estrutura refinada que incorpora um conjunto abrangente de ferramentas e regras de roteamento de ferramentas cuidadosamente projetadas para tarefas de planilhas. Por meio de experimentos abrangentes, mostramos que o Spreadsheet-RL melhora substancialmente o desempenho de agentes de IA em tarefas de planilhas gerais e específicas de domínio: ele eleva o Pass@1 do Qwen3-4B-Thinking-2507 no SpreadsheetBench de 12,0% para 23,4%, e aumenta o Pass@1 de 8,4% para 17,2% em nosso conjunto Domain-Spreadsheet curado. Esses resultados destacam o forte potencial do Spreadsheet-RL para generalização e adoção no mundo real na automação de planilhas e, de forma geral, sua promessa para avançar interações baseadas em LLM com interfaces de dados no trabalho cotidiano.

English

Spreadsheet systems (e.g., Microsoft Excel, Google Sheets) play a central role in modern data-centric workflows. As AI agents grow increasingly capable of automating complex tasks, such as controlling computers and generating presentations, building an AI-driven spreadsheet agent has emerged as a promising research direction. Most existing spreadsheet agents rely on specialized prompting over general-purpose LLMs; while this design has potentials on simple spreadsheet operations, it struggles to manage the complex, multi-step workflows typical of real-world applications. We introduce Spreadsheet-RL, a reinforcement learning (RL) fine-tuning framework designed to train specialized spreadsheet agents within a realistic Microsoft Excel environment. Spreadsheet-RL features an automated pipeline for scalable collection of paired start-goal spreadsheets from online forums, as well as domain-specific evaluation tasks in areas such as finance and supply chain management, which we compile into the new Domain-Spreadsheet benchmark dataset. It also includes a Spreadsheet Gym environment designed for multi-turn RL: Spreadsheet Gym exposes extensive Excel functionality through a Python sandbox, along with a refined harness that incorporates a comprehensive tool set and carefully designed tool-routing rules for spreadsheet tasks. Through comprehensive experiments, we show that Spreadsheet-RL substantially enhances AI agent's performance on both general and domain-specific spreadsheet tasks: it improves Qwen3-4B-Thinking-2507's Pass@1 on SpreadsheetBench from 12.0% to 23.4%, and raises Pass@1 from 8.4% to 17.2% on our curated Domain-Spreadsheet dataset. These results highlight Spreadsheet-RL's strong potential for generalization and real-world adoption in spreadsheet automation, and broadly, its promise for advancing LLM-based interactions with data interfaces in everyday work.