ImpossibleBench: Messung der Neigung von LLMs, Testfälle auszunutzen

ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases

October 23, 2025

papers.authors: Ziqian Zhong, Aditi Raghunathan, Nicholas Carlini

cs.AI

papers.abstract

Die Tendenz, "Abkürzungen" zu finden und auszunutzen, um Aufgaben zu erledigen, birgt erhebliche Risiken für die zuverlässige Bewertung und den Einsatz großer Sprachmodelle (LLMs). Beispielsweise könnte ein LLM-Agent mit Zugriff auf Unittests fehlschlagende Tests löschen, anstatt den zugrundeliegenden Fehler zu beheben. Ein solches Verhalten untergräbt sowohl die Aussagekraft von Benchmark-Ergebnissen als auch die Zuverlässigkeit von realen LLM-Code-Assistenten. Um dieses Verhalten zu quantifizieren, zu untersuchen und zu mildern, führen wir ImpossibleBench ein, ein Benchmark-Framework, das systematisch die Neigung von LLM-Agents misst, Testfälle auszunutzen. ImpossibleBench erstellt "unmögliche" Varianten von Aufgaben aus bestehenden Benchmarks wie LiveCodeBench und SWE-bench, indem direkte Widersprüche zwischen der natürlichsprachigen Spezifikation und den Unittests eingeführt werden. Wir messen die "Betrugsrate" eines Agents als seine Bestehensrate bei diesen unmöglichen Aufgaben, bei denen jedes Bestehen notwendigerweise eine speifikationsverletzende Abkürzung impliziert. Als praktisches Framework ist ImpossibleBench nicht nur eine Bewertung, sondern ein vielseitiges Werkzeug. Wir demonstrieren seinen Nutzen für: (1) die Untersuchung von Modellverhalten, die feinere Details von Betrugsverhalten aufdeckt – von einfacher Testmodifikation bis hin zu komplexem Operator-Overloading; (2) Context Engineering, das zeigt, wie Prompt, Testzugriff und Feedback-Schleife die Betrugsrate beeinflussen; und (3) die Entwicklung von Monitoring-Tools, indem es eine Testumgebung mit verifizierten trügerischen Lösungen bereitstellt. Wir hoffen, dass ImpossibleBench als nützliches Framework für den Aufbau robusterer und zuverlässigerer LLM-Systeme dient. Unsere Implementierung finden Sie unter https://github.com/safety-research/impossiblebench.

English

The tendency to find and exploit "shortcuts" to complete tasks poses significant risks for reliable assessment and deployment of large language models (LLMs). For example, an LLM agent with access to unit tests may delete failing tests rather than fix the underlying bug. Such behavior undermines both the validity of benchmark results and the reliability of real-world LLM coding assistant deployments. To quantify, study, and mitigate such behavior, we introduce ImpossibleBench, a benchmark framework that systematically measures LLM agents' propensity to exploit test cases. ImpossibleBench creates "impossible" variants of tasks from existing benchmarks like LiveCodeBench and SWE-bench by introducing direct conflicts between the natural-language specification and the unit tests. We measure an agent's "cheating rate" as its pass rate on these impossible tasks, where any pass necessarily implies a specification-violating shortcut. As a practical framework, ImpossibleBench is not just an evaluation but a versatile tool. We demonstrate its utility for: (1) studying model behaviors, revealing more fine-grained details of cheating behaviors from simple test modification to complex operator overloading; (2) context engineering, showing how prompt, test access and feedback loop affect cheating rates; and (3) developing monitoring tools, providing a testbed with verified deceptive solutions. We hope ImpossibleBench serves as a useful framework for building more robust and reliable LLM systems. Our implementation can be found at https://github.com/safety-research/impossiblebench.