Benchmark de Horizonte Longo Terminal: Testando os Limites de Agentes em Tarefas Terminais de Longo Horizonte com Avaliação Baseada em Recompensas Densas

Resumo

Agentes de IA tornaram-se capazes de completar tarefas curtas e bem especificadas de forma autônoma. No entanto, os benchmarks terminais existentes concentram-se majoritariamente em problemas simples que são concluídos em minutos e avaliados apenas pelo seu resultado final. Essa configuração ignora o progresso intermediário e soluções parciais, gerando sinais de recompensa esparsos e uma visão incompleta da capacidade dos agentes. Apresentamos o Long-Horizon-Terminal-Bench, um benchmark terminal composto por 46 tarefas de longo horizonte abrangendo nove categorias, incluindo reprodução de experimentos, engenharia de software, análise multimodal, jogos interativos e computação científica. Cada tarefa segue uma estrutura no estilo Terminal-Bench, com uma solução de referência ou motor de simulação, mas é decomposta em subtarefas graduadas e detalhadas. Esse design possibilita recompensas intermediárias densas e crédito parcial, permitindo que a avaliação capture não apenas se um agente atinge o objetivo final, mas também o quão longe ele progride em fluxos de trabalho abertos. As tarefas no Long-Horizon-Terminal-Bench normalmente exigem centenas de episódios e minutos a horas de execução, enfatizando planejamento de longo horizonte, gerenciamento de contexto estendido e depuração iterativa, em vez de resolução de problemas em uma única tentativa. Avaliamos 15 modelos de fronteira e descobrimos que os agentes consomem, em média, 9,9 milhões de tokens por tarefa, com aproximadamente 231 episódios e 85,3 minutos de tempo de execução por rodada, tornando o Long-Horizon-Terminal-Bench mais exigente que os benchmarks terminais anteriores. Mesmo o modelo mais forte testado alcança 15,2% de pass@1 com um limiar de recompensa parcial de 0,95 e 10,9% com um limiar de recompensa perfeita de 1,0, enquanto a taxa média de aprovação entre os modelos é de 4,3% e 1,7% sob os dois limiares, respectivamente. Esses resultados revelam espaço para melhoria. Analisamos ainda modos de falha e padrões de erro, e disponibilizamos o Long-Horizon-Terminal-Bench para apoiar avanços futuros em agentes terminais de longo horizonte.

English

AI agents have become capable of autonomously completing short, well-specified tasks. However, existing terminal benchmarks largely focus on simple problems that finish within minutes and are evaluated only by their final outcome. This setup overlooks intermediate progress and partial solutions, yielding sparse reward signals and an incomplete picture of agent capability. We introduce Long-Horizon-Terminal-Bench, a terminal benchmark of 46 long-horizon tasks spanning nine categories, including experiment reproduction, software engineering, multimodal analysis, interactive games, and scientific computing. Each task follows a Terminal-Bench-style setup with a reference solution or simulation engine, but is further decomposed into fine-grained graded subtasks. This design enables dense intermediate rewards and partial credit, allowing evaluation to capture not only whether an agent reaches the final goal, but also how far it progresses on open-ended workflows. Tasks in Long-Horizon-Terminal-Bench typically require hundreds of episodes and minutes to hours of execution, stressing long-horizon planning, long-context management, and iterative debugging rather than one-shot problem solving. We evaluate 15 frontier models and find that agents consume on average 9.9M tokens per task, with roughly 231 episodes and 85.3 minutes of execution time per run, making Long-Horizon-Terminal-Bench more demanding than prior terminal-based benchmarks. Even the strongest tested model achieves 15.2% pass@1 at a partial-reward threshold of 0.95 and 10.9% at a perfect-reward threshold of 1.0, while the mean pass rate across models is 4.3% and 1.7% under the two thresholds, respectively. These results reveal headroom for improvement. We further analyze failure modes and error patterns, and release Long-Horizon-Terminal-Bench to support future progress on long-horizon terminal agents.