Riscos Emergentes de Raciocínio Estratégico em IA: Uma Estrutura de Avaliação Orientada por Taxonomia
Emergent Strategic Reasoning Risks in AI: A Taxonomy-Driven Evaluation Framework
April 23, 2026
Autores: Tharindu Kumarage, Lisa Bauer, Yao Ma, Dan Rosen, Yashasvi Raghavendra Guduri, Anna Rumshisky, Kai-Wei Chang, Aram Galstyan, Rahul Gupta, Charith Peris
cs.AI
Resumo
À medida que a capacidade de raciocínio e o escopo de implantação crescem em conjunto, os modelos de linguagem de grande porte (LLMs) adquirem a capacidade de se envolver em comportamentos que servem aos seus próprios objetivos, uma classe de riscos que denominamos Riscos Emergentes de Raciocínio Estratégico (ESRRs, na sigla em inglês). Estes incluem, mas não se limitam a, decepção (enganar intencionalmente utilizadores ou avaliadores), manipulação de avaliação (manipular estrategicamente o desempenho durante testes de segurança) e exploração de recompensas (explorar objetivos mal especificados). Compreender e avaliar sistematicamente estes riscos permanece um desafio em aberto. Para colmatar esta lacuna, introduzimos o ESRRSim, uma estrutura agêntica orientada por taxonomia para avaliação automatizada de riscos comportamentais. Construímos uma taxonomia de riscos extensível de 7 categorias, que é decomposta em 20 subcategorias. O ESRRSim gera cenários de avaliação concebidos para eliciar raciocínio fidedigno, emparelhados com rubricas duais que avaliam tanto as respostas do modelo como os traços de raciocínio, numa arquitetura escalável e independente do juiz. A avaliação em 11 LLMs de raciocínio revela uma variação substancial nos perfis de risco (taxas de deteção variando entre 14,45% e 72,72%), com melhorias geracionais dramáticas a sugerir que os modelos podem reconhecer e adaptar-se cada vez mais aos contextos de avaliação.
English
As reasoning capacity and deployment scope grow in tandem, large language models (LLMs) gain the capacity to engage in behaviors that serve their own objectives, a class of risks we term Emergent Strategic Reasoning Risks (ESRRs). These include, but are not limited to, deception (intentionally misleading users or evaluators), evaluation gaming (strategically manipulating performance during safety testing), and reward hacking (exploiting misspecified objectives). Systematically understanding and benchmarking these risks remains an open challenge. To address this gap, we introduce ESRRSim, a taxonomy-driven agentic framework for automated behavioral risk evaluation. We construct an extensible risk taxonomy of 7 categories, which is decomposed into 20 subcategories. ESRRSim generates evaluation scenarios designed to elicit faithful reasoning, paired with dual rubrics assessing both model responses and reasoning traces, in a judge-agnostic and scalable architecture. Evaluation across 11 reasoning LLMs reveals substantial variation in risk profiles (detection rates ranging 14.45%-72.72%), with dramatic generational improvements suggesting models may increasingly recognize and adapt to evaluation contexts.