Интерактивное оценивание требует дизайн-науки.

Аннотация

Оценка искусственного интеллекта претерпевает структурные изменения. Большие языковые модели (LLM) всё чаще развёртываются как системы, действующие во времени через инструменты, среды, пользователей и других агентов, тогда как многие практики оценки по-прежнему наследуют допущения, характерные для бенчмарков, ориентированных на отдельные ответы (например, фиксированные входные данные, изолированные выходные данные и суждения об исходе, которые можно вынести на основании одного ответа). Научное сообщество начало создавать интерактивные бенчмарки, однако полученная картина фрагментирована: бенчмарки различаются по тому, какие артефакты взаимодействия они допускают, как оцениваются траектории и какие утверждения их результаты позволяют обосновать. В данной позиционной статье утверждается, что интерактивную оценку следует рассматривать как самостоятельную парадигму оценки, а не просто как новое семейство бенчмарков для агентов. Простое заимствование предыдущих парадигм оценки недостаточно. Мы определяем оценку как автономное отображение свидетельств в суждения и показываем, что интерактивная оценка изменяет обе стороны этого отображения: свидетельства становятся траекториями, порождёнными взаимодействием, а процедура оценки должна оценивать процесс, восстанавливаемость, координацию, устойчивость и производительность на уровне системы. Основываясь на этом определении, мы предлагаем двухосевую таксономию, выводим принципы проектирования и стандарты отчётности, рассматриваем репрезентативные сценарии и анализируем, как давние проблемы оценки вновь проявляются на уровне траекторий.

English

AI evaluation is undergoing a structural change. Large language models (LLMs) are increasingly deployed as systems that act over time through tools, environments, users, and other agents, while many evaluation practices still inherit assumptions from response-centered benchmarks (e.g., fixed inputs, isolated outputs, and outcome judgments that can be made from a single response). The field has begun to build interactive benchmarks, but the resulting landscape is fragmented: benchmarks differ in what interaction artifacts they admit, how trajectories are scored, and what claims their results support. This position paper argues that interactive evaluation should be treated as a principled evaluation paradigm, not merely a new family of agent benchmarks. Simply adopting previous evaluation paradigms does not suffice. We define evaluation as an autonomous mapping from evidence to judgments, and show that interactive evaluation changes both sides of this mapping: the evidence becomes interaction-generated trajectories, while the evaluation procedure must assess process, recoverability, coordination, robustness, and system-level performance. Building on this definition, we propose a two-axis taxonomy, derive design principles and reporting standards, examine representative scenarios, and analyze how longstanding evaluation challenges reappear at the trajectory level.