Position: KI-Wettbewerbe bieten den Goldstandard für empirische Strenge in der Evaluation von GenKI.

Position: AI Competitions Provide the Gold Standard for Empirical Rigor in GenAI Evaluation

May 1, 2025

Autoren: D. Sculley, Will Cukierski, Phil Culliton, Sohier Dane, Maggie Demkin, Ryan Holbrook, Addison Howard, Paul Mooney, Walter Reade, Megan Risdal, Nate Keating

cs.AI

Zusammenfassung

In diesem Positionspapier stellen wir fest, dass die empirische Evaluierung im Bereich der Generativen KI an einem kritischen Punkt angelangt ist, da traditionelle Evaluierungs- und Benchmarking-Strategien des maschinellen Lernens nicht ausreichen, um den Anforderungen der Bewertung moderner GenAI-Modelle und -Systeme gerecht zu werden. Dafür gibt es viele Gründe, darunter die Tatsache, dass diese Modelle typischerweise nahezu unbegrenzte Eingabe- und Ausgaberäume haben, oft kein klar definiertes Ground-Truth-Ziel besitzen und starke Rückkopplungsschleifen sowie Vorhersageabhängigkeiten basierend auf dem Kontext früherer Modellausgaben aufweisen. Neben diesen kritischen Problemen argumentieren wir, dass die Herausforderungen von {\em Leakage} und {\em Kontamination} tatsächlich die wichtigsten und schwierigsten Probleme für GenAI-Evaluierungen darstellen. Interessanterweise hat das Feld der KI-Wettbewerbe wirksame Maßnahmen und Praktiken entwickelt, um Leakage zu bekämpfen, mit dem Ziel, Betrug durch schlechte Akteure in einem Wettbewerbsumfeld zu verhindern. Dies macht KI-Wettbewerbe zu einer besonders wertvollen (aber unterausgeschöpften) Ressource. Es ist an der Zeit, dass das Feld KI-Wettbewerbe als den Goldstandard für empirische Strenge in der GenAI-Evaluierung betrachtet und ihre Ergebnisse entsprechend wertschätzt und nutzt.

English

In this position paper, we observe that empirical evaluation in Generative AI is at a crisis point since traditional ML evaluation and benchmarking strategies are insufficient to meet the needs of evaluating modern GenAI models and systems. There are many reasons for this, including the fact that these models typically have nearly unbounded input and output spaces, typically do not have a well defined ground truth target, and typically exhibit strong feedback loops and prediction dependence based on context of previous model outputs. On top of these critical issues, we argue that the problems of {\em leakage} and {\em contamination} are in fact the most important and difficult issues to address for GenAI evaluations. Interestingly, the field of AI Competitions has developed effective measures and practices to combat leakage for the purpose of counteracting cheating by bad actors within a competition setting. This makes AI Competitions an especially valuable (but underutilized) resource. Now is time for the field to view AI Competitions as the gold standard for empirical rigor in GenAI evaluation, and to harness and harvest their results with according value.