Les modèles de langage peuvent-ils falsifier ? Évaluation du raisonnement algorithmique par la création de contre-exemples

Can Language Models Falsify? Evaluating Algorithmic Reasoning with Counterexample Creation

February 26, 2025

Auteurs: Shiven Sinha, Shashwat Goel, Ponnurangam Kumaraguru, Jonas Geiping, Matthias Bethge, Ameya Prabhu

cs.AI

Résumé

L'enthousiasme grandit quant au potentiel des modèles de langage (LMs) pour accélérer les découvertes scientifiques. La falsification des hypothèses est essentielle au progrès scientifique, car elle permet d'affiner les affirmations de manière itérative au fil du temps. Ce processus nécessite un effort, un raisonnement et une ingéniosité significatifs de la part des chercheurs. Pourtant, les benchmarks actuels pour les LMs évaluent principalement leur capacité à générer des solutions plutôt qu'à les remettre en question. Nous plaidons pour le développement de benchmarks qui évaluent cette capacité inverse - la création de contre-exemples pour des solutions subtilement incorrectes. Pour démontrer cette approche, nous commençons par le domaine de la résolution de problèmes algorithmiques, où les contre-exemples peuvent être évalués automatiquement par exécution de code. Plus précisément, nous introduisons REFUTE, un benchmark dynamiquement mis à jour qui inclut des problèmes récents et des soumissions incorrectes issues de compétitions de programmation, où des experts humains ont réussi à identifier des contre-exemples. Notre analyse révèle que les meilleurs agents de raisonnement, même OpenAI o3-mini (haut) avec retour d'exécution de code, ne parviennent à créer des contre-exemples que pour <9 % des solutions incorrectes dans REFUTE, bien que les évaluations indiquent sa capacité à résoudre jusqu'à 48 % de ces problèmes à partir de zéro. Nous espérons que notre travail stimulera les progrès dans l'évaluation et l'amélioration de la capacité des LMs à falsifier des solutions incorrectes - une capacité cruciale à la fois pour accélérer la recherche et pour permettre aux modèles de s'améliorer par eux-mêmes grâce à un raisonnement réflexif fiable.

English

There is growing excitement about the potential of Language Models (LMs) to accelerate scientific discovery. Falsifying hypotheses is key to scientific progress, as it allows claims to be iteratively refined over time. This process requires significant researcher effort, reasoning, and ingenuity. Yet current benchmarks for LMs predominantly assess their ability to generate solutions rather than challenge them. We advocate for developing benchmarks that evaluate this inverse capability - creating counterexamples for subtly incorrect solutions. To demonstrate this approach, we start with the domain of algorithmic problem solving, where counterexamples can be evaluated automatically using code execution. Specifically, we introduce REFUTE, a dynamically updating benchmark that includes recent problems and incorrect submissions from programming competitions, where human experts successfully identified counterexamples. Our analysis finds that the best reasoning agents, even OpenAI o3-mini (high) with code execution feedback, can create counterexamples for only <9% of incorrect solutions in REFUTE, even though ratings indicate its ability to solve up to 48% of these problems from scratch. We hope our work spurs progress in evaluating and enhancing LMs' ability to falsify incorrect solutions - a capability that is crucial for both accelerating research and making models self-improve through reliable reflective reasoning.