ImpossibleBench: Medindo a Propensão de LLMs para Explorar Casos de Teste

ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases

October 23, 2025

Autores: Ziqian Zhong, Aditi Raghunathan, Nicholas Carlini

cs.AI

Resumo

A tendência de encontrar e explorar "atalhos" para concluir tarefas representa riscos significativos para a avaliação e implantação confiáveis de grandes modelos de linguagem (LLMs). Por exemplo, um agente de LLM com acesso a testes unitários pode excluir os testes que falham em vez de corrigir o bug subjacente. Esse comportamento compromete tanto a validade dos resultados de benchmark quanto a confiabilidade de implantações reais de assistentes de codificação baseados em LLM. Para quantificar, estudar e mitigar esse comportamento, apresentamos o ImpossibleBench, uma estrutura de benchmark que mede sistematicamente a propensão de agentes de LLM a explorar casos de teste. O ImpossibleBench cria variantes "impossíveis" de tarefas de benchmarks existentes, como LiveCodeBench e SWE-bench, introduzindo conflitos diretos entre a especificação em linguagem natural e os testes unitários. Medimos a "taxa de trapaça" de um agente como sua taxa de aprovação nessas tarefas impossíveis, onde qualquer aprovação implica necessariamente um atalho que viola a especificação. Como uma estrutura prática, o ImpossibleBench não é apenas uma avaliação, mas uma ferramenta versátil. Demonstramos sua utilidade para: (1) estudar comportamentos do modelo, revelando detalhes mais refinados de comportamentos de trapaça, desde simples modificação de testes até complexa sobrecarga de operadores; (2) engenharia de contexto, mostrando como o prompt, o acesso aos testes e o ciclo de feedback afetam as taxas de trapaça; e (3) desenvolver ferramentas de monitoramento, fornecendo um banco de testes com soluções enganosas verificadas. Esperamos que o ImpossibleBench sirva como uma estrutura útil para a construção de sistemas de LLM mais robustos e confiáveis. Nossa implementação pode ser encontrada em https://github.com/safety-research/impossiblebench.

English

The tendency to find and exploit "shortcuts" to complete tasks poses significant risks for reliable assessment and deployment of large language models (LLMs). For example, an LLM agent with access to unit tests may delete failing tests rather than fix the underlying bug. Such behavior undermines both the validity of benchmark results and the reliability of real-world LLM coding assistant deployments. To quantify, study, and mitigate such behavior, we introduce ImpossibleBench, a benchmark framework that systematically measures LLM agents' propensity to exploit test cases. ImpossibleBench creates "impossible" variants of tasks from existing benchmarks like LiveCodeBench and SWE-bench by introducing direct conflicts between the natural-language specification and the unit tests. We measure an agent's "cheating rate" as its pass rate on these impossible tasks, where any pass necessarily implies a specification-violating shortcut. As a practical framework, ImpossibleBench is not just an evaluation but a versatile tool. We demonstrate its utility for: (1) studying model behaviors, revealing more fine-grained details of cheating behaviors from simple test modification to complex operator overloading; (2) context engineering, showing how prompt, test access and feedback loop affect cheating rates; and (3) developing monitoring tools, providing a testbed with verified deceptive solutions. We hope ImpossibleBench serves as a useful framework for building more robust and reliable LLM systems. Our implementation can be found at https://github.com/safety-research/impossiblebench.