Além de Resolver Questionários de Matemática: Avaliando a Capacidade de Modelos de Raciocínio de Grande Escala em Solicitar Informações
Beyond Solving Math Quiz: Evaluating the Ability of Large Reasoning Models to Ask for Information
August 15, 2025
Autores: Youcheng Huang, Bowen Qin, Chen Huang, Duanyu Feng, Xi Yang, Wenqiang Lei
cs.AI
Resumo
Modelos de Raciocínio de Grande Escala (LRMs) demonstraram habilidades notáveis de resolução de problemas em matemática, conforme avaliado por benchmarks existentes exclusivamente em problemas bem definidos. No entanto, tal configuração de avaliação constitui uma lacuna crítica, uma vez que um agente inteligente genuíno não deve apenas resolver problemas (como um solucionador de questionários de matemática), mas também ser capaz de solicitar informações quando os problemas carecem de dados suficientes, permitindo proatividade ao responder às solicitações dos usuários. Para preencher essa lacuna, propomos um novo conjunto de dados composto por dois tipos de problemas incompletos com contextos diversos. Com base nesse conjunto de dados, nossa avaliação sistemática dos LRMs revela sua incapacidade de solicitar informações de forma proativa. Além disso, descobrimos comportamentos relacionados ao excesso de pensamento e à alucinação dos LRMs, e destacamos o potencial e os desafios do ajuste fino supervisionado no aprendizado dessa habilidade. Esperamos fornecer novos insights para o desenvolvimento de LRMs com inteligência genuína, em vez de apenas resolver problemas.
English
Large Reasoning Models (LRMs) have demonstrated remarkable problem-solving
abilities in mathematics, as evaluated by existing benchmarks exclusively on
well-defined problems. However, such evaluation setup constitutes a critical
gap, since a genuine intelligent agent should not only solve problems (as a
math quiz solver), but also be able~to ask for information when the problems
lack sufficient information, enabling proactivity in responding users'
requests. To bridge such gap, we proposes a new dataset consisting of two types
of incomplete problems with diverse contexts. Based on the dataset, our
systematical evaluation of LRMs reveals their inability in proactively asking
for information. In addition, we uncover the behaviors related to overthinking
and hallucination of LRMs, and highlight the potential and challenges of
supervised fine-tuning in learning such ability. We hope to provide new
insights in developing LRMs with genuine intelligence, rather than just solving
problems.