Pontos de Referência Interativos

Resumo

Os benchmarks padrão tornaram-se cada vez menos confiáveis devido à saturação, subjetividade e fraca generalização. Argumentamos que avaliar a capacidade do modelo de adquirir informações ativamente é importante para aferir sua inteligência. Propomos Benchmarks Interativos, um paradigma de avaliação unificado que examina a capacidade de raciocínio do modelo num processo interativo sob restrições orçamentárias. Instanciamos este framework em dois cenários: Provas Interativas, onde os modelos interagem com um juiz para deduzir verdades ou respostas objetivas em lógica e matemática; e Jogos Interativos, onde os modelos raciocinam estrategicamente para maximizar utilidades de longo prazo. Nossos resultados demonstram que os benchmarks interativos proporcionam uma avaliação robusta e fidedigna da inteligência dos modelos, revelando que ainda há espaço substancial para melhorias em cenários interativos. Página do projeto: https://github.com/interactivebench/interactivebench

English

Standard benchmarks have become increasingly unreliable due to saturation, subjectivity, and poor generalization. We argue that evaluating model's ability to acquire information actively is important to assess model's intelligence. We propose Interactive Benchmarks, a unified evaluation paradigm that assesses model's reasoning ability in an interactive process under budget constraints. We instantiate this framework across two settings: Interactive Proofs, where models interact with a judge to deduce objective truths or answers in logic and mathematics; and Interactive Games, where models reason strategically to maximize long-horizon utilities. Our results show that interactive benchmarks provide a robust and faithful assessment of model intelligence, revealing that there is still substantial room to improve in interactive scenarios. Project page: https://github.com/interactivebench/interactivebench