Interactieve evaluatie vereist een design science.

Samenvatting

AI-evaluatie ondergaat een structurele verandering. Grote taalmodellen (LLM's) worden steeds vaker ingezet als systemen die in de loop van de tijd handelen via tools, omgevingen, gebruikers en andere agenten, terwijl veel evaluatiepraktijken nog steeds uitgaan van aannames uit responsgerichte benchmarks (bijv. vaste inputs, geïsoleerde outputs en oordeel over uitkomsten dat op basis van één enkele respons kan worden geveld). Het veld is begonnen met het bouwen van interactieve benchmarks, maar het resulterende landschap is gefragmenteerd: benchmarks verschillen in welke interactieartefacten ze toelaten, hoe trajecten worden gescoord en welke claims hun resultaten ondersteunen. Dit position paper stelt dat interactieve evaluatie moet worden behandeld als een principieel evaluatieparadigma, niet slechts als een nieuwe familie van agentbenchmarks. Het simpelweg overnemen van eerdere evaluatieparadigma's volstaat niet. We definiëren evaluatie als een autonome afbeelding van bewijsmateriaal naar oordelen, en tonen aan dat interactieve evaluatie beide zijden van deze afbeelding verandert: het bewijsmateriaal wordt interactiegegenereerde trajecten, terwijl de evaluatieprocedure proces, herstelbaarheid, coördinatie, robuustheid en systeemprestaties moet beoordelen. Voortbouwend op deze definitie stellen we een twee-assige taxonomie voor, leiden we ontwerpprincipes en rapportagestandaarden af, onderzoeken we representatieve scenario's en analyseren we hoe al lang bestaande evaluatie-uitdagingen op trajectniveau opnieuw verschijnen.

English

AI evaluation is undergoing a structural change. Large language models (LLMs) are increasingly deployed as systems that act over time through tools, environments, users, and other agents, while many evaluation practices still inherit assumptions from response-centered benchmarks (e.g., fixed inputs, isolated outputs, and outcome judgments that can be made from a single response). The field has begun to build interactive benchmarks, but the resulting landscape is fragmented: benchmarks differ in what interaction artifacts they admit, how trajectories are scored, and what claims their results support. This position paper argues that interactive evaluation should be treated as a principled evaluation paradigm, not merely a new family of agent benchmarks. Simply adopting previous evaluation paradigms does not suffice. We define evaluation as an autonomous mapping from evidence to judgments, and show that interactive evaluation changes both sides of this mapping: the evidence becomes interaction-generated trajectories, while the evaluation procedure must assess process, recoverability, coordination, robustness, and system-level performance. Building on this definition, we propose a two-axis taxonomy, derive design principles and reporting standards, examine representative scenarios, and analyze how longstanding evaluation challenges reappear at the trajectory level.