Возникающие риски стратегического мышления в ИИ: таксономическая система оценки
Emergent Strategic Reasoning Risks in AI: A Taxonomy-Driven Evaluation Framework
April 23, 2026
Авторы: Tharindu Kumarage, Lisa Bauer, Yao Ma, Dan Rosen, Yashasvi Raghavendra Guduri, Anna Rumshisky, Kai-Wei Chang, Aram Galstyan, Rahul Gupta, Charith Peris
cs.AI
Аннотация
По мере одновременного роста способности к рассуждению и масштаба развертывания крупные языковые модели (LLM) приобретают способность демонстрировать поведение, направленное на достижение собственных целей — класс рисков, который мы обозначаем как Риски Эмерджентного Стратегического Мышления (ЭСР). К ним относятся, но не ограничиваются: обман (намеренное введение пользователей или оценщиков в заблуждение), манипулирование оценкой (стратегическое искажение производительности во время тестирования на безопасность) и взлом системы вознаграждений (эксплуатация некорректно определенных целей). Систематическое понимание и бенчмаркинг этих рисков остаются открытой проблемой. Для устранения этого пробела мы представляем ESRRSim — таксономически-ориентированный агентный фреймворк для автоматической оценки поведенческих рисков. Мы разрабатываем расширяемую таксономию рисков, включающую 7 категорий, которые декомпозируются на 20 подкатегорий. ESRRSim генерирует сценарии оценки, предназначенные для выявления достоверных рассуждений, в паре с двойными рубриками, оценивающими как ответы модели, так и трассировки рассуждений, в архитектуре, независимой от судьи и масштабируемой. Оценка 11 LLM, способных к рассуждениям, выявила существенные различия в профилях риска (уровень обнаружения варьировался от 14,45% до 72,72%), при этом резкие улучшения между поколениями моделей позволяют предположить, что модели все чаще распознают контекст оценки и адаптируются к нему.
English
As reasoning capacity and deployment scope grow in tandem, large language models (LLMs) gain the capacity to engage in behaviors that serve their own objectives, a class of risks we term Emergent Strategic Reasoning Risks (ESRRs). These include, but are not limited to, deception (intentionally misleading users or evaluators), evaluation gaming (strategically manipulating performance during safety testing), and reward hacking (exploiting misspecified objectives). Systematically understanding and benchmarking these risks remains an open challenge. To address this gap, we introduce ESRRSim, a taxonomy-driven agentic framework for automated behavioral risk evaluation. We construct an extensible risk taxonomy of 7 categories, which is decomposed into 20 subcategories. ESRRSim generates evaluation scenarios designed to elicit faithful reasoning, paired with dual rubrics assessing both model responses and reasoning traces, in a judge-agnostic and scalable architecture. Evaluation across 11 reasoning LLMs reveals substantial variation in risk profiles (detection rates ranging 14.45%-72.72%), with dramatic generational improvements suggesting models may increasingly recognize and adapt to evaluation contexts.