Au-delà de la résolution de quiz mathématiques : Évaluer la capacité des grands modèles de raisonnement à demander des informations
Beyond Solving Math Quiz: Evaluating the Ability of Large Reasoning Models to Ask for Information
August 15, 2025
papers.authors: Youcheng Huang, Bowen Qin, Chen Huang, Duanyu Feng, Xi Yang, Wenqiang Lei
cs.AI
papers.abstract
Les modèles de raisonnement à grande échelle (Large Reasoning Models, LRMs) ont démontré des capacités remarquables de résolution de problèmes en mathématiques, telles qu'évaluées par les benchmarks existants exclusivement sur des problèmes bien définis. Cependant, une telle configuration d'évaluation constitue une lacune critique, car un véritable agent intelligent ne devrait pas seulement résoudre des problèmes (comme un solveur de quiz mathématiques), mais aussi être capable de demander des informations lorsque les problèmes manquent de détails suffisants, permettant ainsi une réponse proactive aux demandes des utilisateurs. Pour combler cette lacune, nous proposons un nouveau jeu de données composé de deux types de problèmes incomplets dans des contextes variés. Sur la base de ce jeu de données, notre évaluation systématique des LRMs révèle leur incapacité à demander des informations de manière proactive. De plus, nous mettons en lumière des comportements liés à la surréflexion et aux hallucinations des LRMs, et soulignons le potentiel et les défis du fine-tuning supervisé pour acquérir une telle capacité. Nous espérons apporter de nouvelles perspectives pour développer des LRMs dotés d'une intelligence authentique, plutôt que simplement capables de résoudre des problèmes.
English
Large Reasoning Models (LRMs) have demonstrated remarkable problem-solving
abilities in mathematics, as evaluated by existing benchmarks exclusively on
well-defined problems. However, such evaluation setup constitutes a critical
gap, since a genuine intelligent agent should not only solve problems (as a
math quiz solver), but also be able~to ask for information when the problems
lack sufficient information, enabling proactivity in responding users'
requests. To bridge such gap, we proposes a new dataset consisting of two types
of incomplete problems with diverse contexts. Based on the dataset, our
systematical evaluation of LRMs reveals their inability in proactively asking
for information. In addition, we uncover the behaviors related to overthinking
and hallucination of LRMs, and highlight the potential and challenges of
supervised fine-tuning in learning such ability. We hope to provide new
insights in developing LRMs with genuine intelligence, rather than just solving
problems.