Posizione: Le competizioni di IA forniscono lo standard di riferimento per il rigore empirico nella valutazione della GenAI
Position: AI Competitions Provide the Gold Standard for Empirical Rigor in GenAI Evaluation
May 1, 2025
Autori: D. Sculley, Will Cukierski, Phil Culliton, Sohier Dane, Maggie Demkin, Ryan Holbrook, Addison Howard, Paul Mooney, Walter Reade, Megan Risdal, Nate Keating
cs.AI
Abstract
In questo position paper, osserviamo che la valutazione empirica nell'ambito dell'Intelligenza Artificiale Generativa (GenAI) si trova in un momento critico, poiché le strategie tradizionali di valutazione e benchmarking del Machine Learning (ML) sono insufficienti per soddisfare le esigenze di valutazione dei moderni modelli e sistemi GenAI. Ciò è dovuto a molteplici ragioni, tra cui il fatto che questi modelli hanno tipicamente spazi di input e output quasi illimitati, spesso non dispongono di un ground truth ben definito e manifestano forti cicli di feedback e dipendenza predittiva basati sul contesto delle precedenti uscite del modello. Oltre a queste problematiche cruciali, sosteniamo che i problemi di {\em leakage} (perdita di dati) e {\em contaminazione} siano in realtà le questioni più importanti e difficili da affrontare nelle valutazioni GenAI. È interessante notare che il campo delle Competizioni di IA ha sviluppato misure e pratiche efficaci per contrastare il leakage, con l'obiettivo di prevenire comportamenti scorretti da parte di partecipanti disonesti in un contesto competitivo. Questo rende le Competizioni di IA una risorsa particolarmente preziosa (ma sottoutilizzata). È giunto il momento per il settore di considerare le Competizioni di IA come lo standard di riferimento per il rigore empirico nella valutazione GenAI, e di sfruttare e valorizzare i loro risultati in modo adeguato.
English
In this position paper, we observe that empirical evaluation in Generative AI
is at a crisis point since traditional ML evaluation and benchmarking
strategies are insufficient to meet the needs of evaluating modern GenAI models
and systems. There are many reasons for this, including the fact that these
models typically have nearly unbounded input and output spaces, typically do
not have a well defined ground truth target, and typically exhibit strong
feedback loops and prediction dependence based on context of previous model
outputs. On top of these critical issues, we argue that the problems of {\em
leakage} and {\em contamination} are in fact the most important and difficult
issues to address for GenAI evaluations. Interestingly, the field of AI
Competitions has developed effective measures and practices to combat leakage
for the purpose of counteracting cheating by bad actors within a competition
setting. This makes AI Competitions an especially valuable (but underutilized)
resource. Now is time for the field to view AI Competitions as the gold
standard for empirical rigor in GenAI evaluation, and to harness and harvest
their results with according value.