Posição: Competições de IA Fornecem o Padrão Ouro para o Rigor Empírico na Avaliação de GenAI
Position: AI Competitions Provide the Gold Standard for Empirical Rigor in GenAI Evaluation
May 1, 2025
Autores: D. Sculley, Will Cukierski, Phil Culliton, Sohier Dane, Maggie Demkin, Ryan Holbrook, Addison Howard, Paul Mooney, Walter Reade, Megan Risdal, Nate Keating
cs.AI
Resumo
Neste artigo de posicionamento, observamos que a avaliação empírica em IA Generativa está em um ponto crítico, uma vez que as estratégias tradicionais de avaliação e benchmarking de aprendizado de máquina são insuficientes para atender às necessidades de avaliação dos modelos e sistemas modernos de GenAI. Há muitas razões para isso, incluindo o fato de que esses modelos geralmente têm espaços de entrada e saída quase ilimitados, normalmente não possuem um alvo de verdade absoluta bem definido e frequentemente exibem fortes loops de feedback e dependência de previsão com base no contexto das saídas anteriores do modelo. Além desses problemas críticos, argumentamos que as questões de {\em vazamento} e {\em contaminação} são, na verdade, os problemas mais importantes e difíceis de abordar nas avaliações de GenAI. Curiosamente, o campo de Competições de IA desenvolveu medidas e práticas eficazes para combater o vazamento com o objetivo de neutralizar a traição por parte de agentes mal-intencionados em um cenário competitivo. Isso torna as Competições de IA um recurso especialmente valioso (mas subutilizado). Agora é o momento para o campo enxergar as Competições de IA como o padrão ouro para o rigor empírico na avaliação de GenAI, e para aproveitar e valorizar seus resultados de acordo.
English
In this position paper, we observe that empirical evaluation in Generative AI
is at a crisis point since traditional ML evaluation and benchmarking
strategies are insufficient to meet the needs of evaluating modern GenAI models
and systems. There are many reasons for this, including the fact that these
models typically have nearly unbounded input and output spaces, typically do
not have a well defined ground truth target, and typically exhibit strong
feedback loops and prediction dependence based on context of previous model
outputs. On top of these critical issues, we argue that the problems of {\em
leakage} and {\em contamination} are in fact the most important and difficult
issues to address for GenAI evaluations. Interestingly, the field of AI
Competitions has developed effective measures and practices to combat leakage
for the purpose of counteracting cheating by bad actors within a competition
setting. This makes AI Competitions an especially valuable (but underutilized)
resource. Now is time for the field to view AI Competitions as the gold
standard for empirical rigor in GenAI evaluation, and to harness and harvest
their results with according value.