InductionBench: Los LLM fallan en la clase de complejidad más simple

InductionBench: LLMs Fail in the Simplest Complexity Class

February 20, 2025

Autores: Wenyue Hua, Tyler Wong, Sun Fei, Liangming Pan, Adam Jardine, William Yang Wang

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han mostrado mejoras notables en el razonamiento, y muchos de los puntos de referencia existentes han sido abordados total o parcialmente por modelos como o1 y o3. Sin embargo, la mayoría de estos puntos de referencia se centran en el razonamiento deductivo, incluyendo tareas matemáticas y de programación en las que reglas como los axiomas matemáticos o la sintaxis de programación están claramente definidas, permitiendo que los LLMs planifiquen y apliquen estas reglas para llegar a una solución. En contraste, el razonamiento inductivo, donde se infieren las reglas subyacentes a partir de datos observados, ha sido menos explorado. Estos procesos inductivos son fundamentales para el descubrimiento científico, ya que permiten a los investigadores extraer principios generales a partir de observaciones empíricas. Para evaluar si los LLMs poseen esta capacidad, presentamos InductionBench, un nuevo punto de referencia diseñado para evaluar la capacidad de razonamiento inductivo de los LLMs. Nuestros hallazgos experimentales revelan que incluso los modelos más avanzados disponibles tienen dificultades para dominar las clases de complejidad más simples dentro de la jerarquía subregular de funciones, destacando una deficiencia notable en las capacidades de razonamiento inductivo de los LLMs actuales. El código y los datos están disponibles en https://github.com/Wenyueh/inductive_reasoning_benchmark.

English

Large language models (LLMs) have shown remarkable improvements in reasoning and many existing benchmarks have been addressed by models such as o1 and o3 either fully or partially. However, a majority of these benchmarks emphasize deductive reasoning, including mathematical and coding tasks in which rules such as mathematical axioms or programming syntax are clearly defined, based on which LLMs can plan and apply these rules to arrive at a solution. In contrast, inductive reasoning, where one infers the underlying rules from observed data, remains less explored. Such inductive processes lie at the heart of scientific discovery, as they enable researchers to extract general principles from empirical observations. To assess whether LLMs possess this capacity, we introduce InductionBench, a new benchmark designed to evaluate the inductive reasoning ability of LLMs. Our experimental findings reveal that even the most advanced models available struggle to master the simplest complexity classes within the subregular hierarchy of functions, highlighting a notable deficiency in current LLMs' inductive reasoning capabilities. Coda and data are available https://github.com/Wenyueh/inductive_reasoning_benchmark.