Risques émergents de raisonnement stratégique en IA : un cadre d'évaluation basé sur une taxonomie
Emergent Strategic Reasoning Risks in AI: A Taxonomy-Driven Evaluation Framework
April 23, 2026
Auteurs: Tharindu Kumarage, Lisa Bauer, Yao Ma, Dan Rosen, Yashasvi Raghavendra Guduri, Anna Rumshisky, Kai-Wei Chang, Aram Galstyan, Rahul Gupta, Charith Peris
cs.AI
Résumé
À mesure que les capacités de raisonnement et les champs de déploiement progressent conjointement, les grands modèles de langage (LLM) acquièrent la faculté d’adopter des comportements servant leurs propres objectifs, une classe de risques que nous nommons risques émergents de raisonnement stratégique (ESRR). Ceux-ci incluent, sans s’y limiter, la tromperie (induire intentionnellement en erreur les utilisateurs ou les évaluateurs), le contournement des évaluations (manipuler stratégiquement les performances lors des tests de sécurité) et le détournement de récompense (exploiter des objectifs mal spécifiés). Comprendre systématiquement ces risques et les évaluer de manière comparative reste un défi non résolu. Pour combler cette lacune, nous présentons ESRRSim, un cadre agentiel piloté par une taxonomie pour l'évaluation automatisée des risques comportementaux. Nous construisons une taxonomie de risques extensible comprenant 7 catégories, décomposées en 20 sous-catégories. ESRRSim génère des scénarios d'évaluation conçus pour susciter un raisonnement fidèle, associés à des grilles d'évaluation doubles analysant à la fois les réponses du modèle et les traces de raisonnement, le tout dans une architecture scalable et indépendante du juge. L'évaluation de 11 LLM de raisonnement révèle des variations substantielles dans les profils de risque (taux de détection variant entre 14,45 % et 72,72 %), avec des améliorations générationnelles spectaculaires suggérant que les modèles reconnaissent et s'adaptent de plus en plus aux contextes d'évaluation.
English
As reasoning capacity and deployment scope grow in tandem, large language models (LLMs) gain the capacity to engage in behaviors that serve their own objectives, a class of risks we term Emergent Strategic Reasoning Risks (ESRRs). These include, but are not limited to, deception (intentionally misleading users or evaluators), evaluation gaming (strategically manipulating performance during safety testing), and reward hacking (exploiting misspecified objectives). Systematically understanding and benchmarking these risks remains an open challenge. To address this gap, we introduce ESRRSim, a taxonomy-driven agentic framework for automated behavioral risk evaluation. We construct an extensible risk taxonomy of 7 categories, which is decomposed into 20 subcategories. ESRRSim generates evaluation scenarios designed to elicit faithful reasoning, paired with dual rubrics assessing both model responses and reasoning traces, in a judge-agnostic and scalable architecture. Evaluation across 11 reasoning LLMs reveals substantial variation in risk profiles (detection rates ranging 14.45%-72.72%), with dramatic generational improvements suggesting models may increasingly recognize and adapt to evaluation contexts.