Sobre la memorización de grandes modelos de lenguaje en el razonamiento lógico.

On Memorization of Large Language Models in Logical Reasoning

October 30, 2024

Autores: Chulin Xie, Yangsibo Huang, Chiyuan Zhang, Da Yu, Xinyun Chen, Bill Yuchen Lin, Bo Li, Badih Ghazi, Ravi Kumar

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) logran un buen rendimiento en desafiantes bancos de pruebas de razonamiento, pero también podrían cometer errores básicos de razonamiento. Este comportamiento contrastante resulta desconcertante cuando se trata de comprender los mecanismos detrás de las capacidades de razonamiento de los LLMs. Una hipótesis es que el rendimiento cada vez más alto y casi saturado en bancos de pruebas comunes de razonamiento podría deberse a la memorización de problemas similares. En este artículo, investigamos sistemáticamente esta hipótesis con una medición cuantitativa de memorización en tareas de razonamiento, utilizando un banco de pruebas de razonamiento lógico generado dinámicamente basado en los acertijos de Caballeros y Embusteros (K&K). Descubrimos que los LLMs podrían interpolar los acertijos de entrenamiento (logrando una precisión casi perfecta) después del ajuste fino, pero fallan cuando esos acertijos se perturban ligeramente, lo que sugiere que los modelos dependen en gran medida de la memorización para resolver esos acertijos de entrenamiento. Por otro lado, demostramos que si bien el ajuste fino conduce a una fuerte memorización, también mejora consistentemente el rendimiento de generalización. Análisis detallados con pruebas de perturbación, transferibilidad entre niveles de dificultad, exploración de los internos del modelo y ajuste fino con respuestas incorrectas sugieren que los LLMs aprenden a razonar sobre los acertijos K&K a pesar de la memorización de los datos de entrenamiento. Este fenómeno indica que los LLMs exhiben una compleja interacción entre la memorización y las auténticas habilidades de razonamiento. Finalmente, nuestro análisis con la puntuación de memorización por muestra arroja luz sobre cómo los LLMs alternan entre el razonamiento y la memorización al resolver acertijos lógicos. Nuestro código y datos están disponibles en https://memkklogic.github.io.

English

Large language models (LLMs) achieve good performance on challenging reasoning benchmarks, yet could also make basic reasoning mistakes. This contrasting behavior is puzzling when it comes to understanding the mechanisms behind LLMs' reasoning capabilities. One hypothesis is that the increasingly high and nearly saturated performance on common reasoning benchmarks could be due to the memorization of similar problems. In this paper, we systematically investigate this hypothesis with a quantitative measurement of memorization in reasoning tasks, using a dynamically generated logical reasoning benchmark based on Knights and Knaves (K&K) puzzles. We found that LLMs could interpolate the training puzzles (achieving near-perfect accuracy) after fine-tuning, yet fail when those puzzles are slightly perturbed, suggesting that the models heavily rely on memorization to solve those training puzzles. On the other hand, we show that while fine-tuning leads to heavy memorization, it also consistently improves generalization performance. In-depth analyses with perturbation tests, cross difficulty-level transferability, probing model internals, and fine-tuning with wrong answers suggest that the LLMs learn to reason on K&K puzzles despite training data memorization. This phenomenon indicates that LLMs exhibit a complex interplay between memorization and genuine reasoning abilities. Finally, our analysis with per-sample memorization score sheds light on how LLMs switch between reasoning and memorization in solving logical puzzles. Our code and data are available at https://memkklogic.github.io.