Os Agentes de Codificação Nos Enganam? Detectando e Prevenindo Trapaças por meio de Avaliação Limitada com Testes Aleatórios

Resumo

Um modo de falha crescente na avaliação e no treinamento de agentes é que os modelos podem alcançar pontuações elevadas explorando atalhos em vez de resolver a tarefa pretendida, produzindo um desempenho enganoso. Isso torna as pontuações de avaliação não confiáveis como medidas da capacidade real de resolver tarefas. Propomos o CapCode, uma estrutura para construir conjuntos de dados de codificação com testes aleatorizados cujo melhor desempenho alcançável sem trapaça é deliberadamente limitado abaixo de um. Esse projeto de desempenho limitado confere às pontuações de avaliação uma interpretação mais clara: pontuações substancialmente acima do limite são implausíveis e, portanto, fornecem evidências de trapaça. Para prevenir a trapaça, propomos o CapReward, um projeto de recompensa baseado no princípio do CapCode para desencorajar a otimização além do limite. Experimentos em vários conjuntos de dados mostram que o CapCode detecta trapaças enquanto preserva a classificação de desempenho dos modelos, e o CapReward reduz o comportamento de trapaça, produzindo modelos que seguem melhor a especificação pretendida da tarefa.

English

A growing failure mode in agent evaluation and training is that models can achieve high evaluation scores by exploiting shortcuts instead of solving the intended task, producing deceptive performance. This makes evaluation scores unreliable as measures of true task-solving ability. We propose CapCode, a framework for constructing coding datasets with randomized tests whose best achievable non-cheating performance is deliberately capped below one. This capped-performance design gives evaluation scores a clearer interpretation: scores substantially above the cap are implausible and therefore provide evidence of cheating. To prevent cheating, we propose CapReward, a reward design based on the CapCode principle to discourage optimization beyond the cap. Experiments across multiple datasets show that CapCode detects cheating while preserving performance ranking of models, and CapReward reduces cheating behavior, yielding models that better follow the intended task specification.