Interaktive Evaluation erfordert eine Designwissenschaft

Zusammenfassung

Die KI-Bewertung durchläuft einen strukturellen Wandel. Große Sprachmodelle (Large Language Models, LLMs) werden zunehmend als Systeme eingesetzt, die über Zeit hinweg durch Werkzeuge, Umgebungen, Benutzer und andere Agenten agieren, während viele Bewertungspraktiken noch Annahmen von antwortzentrierten Benchmarks übernehmen (z. B. feste Eingaben, isolierte Ausgaben und Ergebnisurteile, die aus einer einzelnen Antwort getroffen werden können). Das Feld hat begonnen, interaktive Benchmarks zu entwickeln, doch die resultierende Landschaft ist fragmentiert: Benchmarks unterscheiden sich darin, welche Interaktionsartefakte sie zulassen, wie Trajektorien bewertet werden und welche Aussagen ihre Ergebnisse stützen. Dieses Positionspapier argumentiert, dass interaktive Bewertung als ein prinzipienbasiertes Bewertungsparadigma behandelt werden sollte, nicht lediglich als eine neue Familie von Agenten-Benchmarks. Die bloße Übernahme früherer Bewertungsparadigmen reicht nicht aus. Wir definieren Bewertung als eine autonome Abbildung von Evidenz zu Urteilen und zeigen, dass interaktive Bewertung beide Seiten dieser Abbildung verändert: Die Evidenz wird zu interaktionsgenerierten Trajektorien, während das Bewertungsverfahren Prozess, Wiederherstellbarkeit, Koordination, Robustheit und Systemleistung bewerten muss. Aufbauend auf dieser Definition schlagen wir eine zweiachsige Taxonomie vor, leiten Gestaltungsprinzipien und Berichtsstandards ab, untersuchen repräsentative Szenarien und analysieren, wie altbekannte Bewertungsherausforderungen auf der Trajektorienebene wieder auftauchen.

English

AI evaluation is undergoing a structural change. Large language models (LLMs) are increasingly deployed as systems that act over time through tools, environments, users, and other agents, while many evaluation practices still inherit assumptions from response-centered benchmarks (e.g., fixed inputs, isolated outputs, and outcome judgments that can be made from a single response). The field has begun to build interactive benchmarks, but the resulting landscape is fragmented: benchmarks differ in what interaction artifacts they admit, how trajectories are scored, and what claims their results support. This position paper argues that interactive evaluation should be treated as a principled evaluation paradigm, not merely a new family of agent benchmarks. Simply adopting previous evaluation paradigms does not suffice. We define evaluation as an autonomous mapping from evidence to judgments, and show that interactive evaluation changes both sides of this mapping: the evidence becomes interaction-generated trajectories, while the evaluation procedure must assess process, recoverability, coordination, robustness, and system-level performance. Building on this definition, we propose a two-axis taxonomy, derive design principles and reporting standards, examine representative scenarios, and analyze how longstanding evaluation challenges reappear at the trajectory level.