Oltre la risoluzione di quiz matematici: valutare la capacità dei modelli di ragionamento su larga scala di richiedere informazioni
Beyond Solving Math Quiz: Evaluating the Ability of Large Reasoning Models to Ask for Information
August 15, 2025
Autori: Youcheng Huang, Bowen Qin, Chen Huang, Duanyu Feng, Xi Yang, Wenqiang Lei
cs.AI
Abstract
I Large Reasoning Models (LRM) hanno dimostrato notevoli capacità di risoluzione dei problemi in matematica, come valutato dai benchmark esistenti esclusivamente su problemi ben definiti. Tuttavia, tale configurazione di valutazione costituisce una lacuna critica, poiché un agente intelligente genuino non dovrebbe solo risolvere problemi (come un risolutore di quiz matematici), ma dovrebbe anche essere in grado di richiedere informazioni quando i problemi non contengono sufficienti dettagli, consentendo una risposta proattiva alle richieste degli utenti. Per colmare tale lacuna, proponiamo un nuovo dataset composto da due tipi di problemi incompleti con contesti diversificati. Basandoci su questo dataset, la nostra valutazione sistematica degli LRM rivela la loro incapacità di richiedere informazioni in modo proattivo. Inoltre, scopriamo comportamenti legati al sovrapensiero e all'allucinazione degli LRM, e evidenziamo il potenziale e le sfide del fine-tuning supervisionato nell'apprendimento di tale capacità. Speriamo di fornire nuove intuizioni per lo sviluppo di LRM con una vera intelligenza, piuttosto che semplicemente risolutori di problemi.
English
Large Reasoning Models (LRMs) have demonstrated remarkable problem-solving
abilities in mathematics, as evaluated by existing benchmarks exclusively on
well-defined problems. However, such evaluation setup constitutes a critical
gap, since a genuine intelligent agent should not only solve problems (as a
math quiz solver), but also be able~to ask for information when the problems
lack sufficient information, enabling proactivity in responding users'
requests. To bridge such gap, we proposes a new dataset consisting of two types
of incomplete problems with diverse contexts. Based on the dataset, our
systematical evaluation of LRMs reveals their inability in proactively asking
for information. In addition, we uncover the behaviors related to overthinking
and hallucination of LRMs, and highlight the potential and challenges of
supervised fine-tuning in learning such ability. We hope to provide new
insights in developing LRMs with genuine intelligence, rather than just solving
problems.