Recitação em vez de Raciocínio: Como Modelos de Linguagem de Ponta Podem Falhar em Problemas de Raciocínio de Nível Escolar Básico?

Recitation over Reasoning: How Cutting-Edge Language Models Can Fail on Elementary School-Level Reasoning Problems?

April 1, 2025

Autores: Kai Yan, Yufei Xu, Zhengyin Du, Xuesong Yao, Zheyu Wang, Xiaowen Guo, Jiecao Chen

cs.AI

Resumo

A rápida escalada de problemas de nível escolar fundamental para desafios de fronteira na dificuldade dos benchmarks para LLMs (Modelos de Linguagem de Grande Escala) nos últimos anos teceu um milagre para os pesquisadores, fazendo-nos acreditar que estamos a poucos passos de superar a inteligência humana. No entanto, a impressionante capacidade de raciocínio dos LLMs realmente deriva de uma inteligência genuína pelos padrões humanos, ou estão simplesmente recitando soluções observadas durante o treinamento em escala da Internet? Para estudar essa questão, propomos o RoR-Bench, um benchmark multimodal inovador projetado para detectar o comportamento de recitação dos LLMs quando confrontados com problemas de raciocínio simples, mas com condições sutilmente alteradas, e realizamos uma análise empírica em nosso benchmark. Surpreendentemente, descobrimos que os LLMs de ponta existentes exibem, de forma unânime, um comportamento de recitação extremamente severo; ao alterar uma única frase na condição, modelos líderes como o OpenAI-o1 e o DeepSeek-R1 podem sofrer uma queda de 60% no desempenho em problemas de aritmética e raciocínio de nível escolar fundamental. Essas descobertas são um alerta para a comunidade de LLMs, compelindo-nos a reavaliar o verdadeiro nível de inteligência dos modelos de ponta.

English

The rapid escalation from elementary school-level to frontier problems of the difficulty for LLM benchmarks in recent years have weaved a miracle for researchers that we are only inches away from surpassing human intelligence. However, is the LLMs' remarkable reasoning ability indeed comes from true intelligence by human standards, or are they simply reciting solutions witnessed during training at an Internet level? To study this problem, we propose RoR-Bench, a novel, multi-modal benchmark for detecting LLM's recitation behavior when asked simple reasoning problems but with conditions subtly shifted, and conduct empirical analysis on our benchmark. Surprisingly, we found existing cutting-edge LLMs unanimously exhibits extremely severe recitation behavior; by changing one phrase in the condition, top models such as OpenAI-o1 and DeepSeek-R1 can suffer 60% performance loss on elementary school-level arithmetic and reasoning problems. Such findings are a wake-up call to the LLM community that compels us to re-evaluate the true intelligence level of cutting-edge LLMs.