Est-ce votre réponse finale ? La mise à l'échelle au moment du test améliore la sélection des réponses aux questions

Is That Your Final Answer? Test-Time Scaling Improves Selective Question Answering

February 19, 2025

Auteurs: William Jurayj, Jeffrey Cheng, Benjamin Van Durme

cs.AI

Résumé

L'augmentation des ressources de calcul au moment de l'inférence pour les grands modèles de langage a démontré des performances impressionnantes sur les benchmarks de raisonnement. Cependant, les évaluations existantes de cette mise à l'échelle reposent sur l'hypothèse forte qu'un système de raisonnement devrait toujours fournir une réponse à toute question posée. Cela néglige les préoccupations concernant la confiance du modèle dans sa réponse et la pertinence de toujours fournir une réponse. Pour aborder ces questions, nous extrayons des scores de confiance pendant le raisonnement afin de filtrer les réponses du modèle. Nous constatons qu'augmenter le budget de calcul au moment de l'inférence aide non seulement les modèles à répondre correctement à plus de questions, mais augmente également leur confiance dans les réponses correctes. Nous étendons ensuite le paradigme actuel des réponses à risque zéro lors de l'évaluation en considérant des contextes avec des niveaux de risque de réponse non nuls, et proposons une méthode pour rapporter les évaluations dans ces contextes.

English

Scaling the test-time compute of large language models has demonstrated impressive performance on reasoning benchmarks. However, existing evaluations of test-time scaling make the strong assumption that a reasoning system should always give an answer to any question provided. This overlooks concerns about whether a model is confident in its answer, and whether it is appropriate to always provide a response. To address these concerns, we extract confidence scores during reasoning for thresholding model responses. We find that increasing compute budget at inference time not only helps models answer more questions correctly, but also increases confidence in correct responses. We then extend the current paradigm of zero-risk responses during evaluation by considering settings with non-zero levels of response risk, and suggest a recipe for reporting evaluations under these settings.