El razonamiento general requiere aprender a razonar desde el principio.

General Reasoning Requires Learning to Reason from the Get-go

February 26, 2025

Autores: Seungwook Han, Jyothish Pari, Samuel J. Gershman, Pulkit Agrawal

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado una utilidad impresionante en el mundo real, ejemplificando la inteligencia artificial útil (AUI, por sus siglas en inglés). Sin embargo, su capacidad para razonar de manera adaptativa y robusta —características fundamentales de la inteligencia artificial general (AGI)— sigue siendo frágil. Aunque los LLMs aparentemente tienen éxito en el razonamiento de sentido común, la programación y las matemáticas, les cuesta generalizar la comprensión algorítmica en contextos novedosos. Nuestros experimentos con tareas algorítmicas en lenguajes de programación esotéricos revelan que el razonamiento de los LLMs se sobreajusta a los datos de entrenamiento y tiene una transferibilidad limitada. Hipótesis que el problema subyacente a esta limitada transferibilidad es el acoplamiento entre el razonamiento y el conocimiento en los LLMs. Para transitar de la AUI a la AGI, proponemos desacoplar el conocimiento y el razonamiento a través de tres direcciones clave: (1) preentrenar para razonar utilizando aprendizaje por refuerzo (RL) desde cero, como alternativa al preentrenamiento ampliamente utilizado de predicción del siguiente token, (2) utilizar un currículo de tareas sintéticas para facilitar el aprendizaje de un prior de razonamiento para RL que luego pueda transferirse a tareas de lenguaje natural, y (3) aprender funciones de razonamiento más generalizables utilizando una ventana de contexto pequeña para reducir la explotación de correlaciones espurias entre tokens. Un sistema de razonamiento de este tipo, combinado con un sistema de recuperación entrenado y un gran banco de memoria externa como almacén de conocimiento, puede superar varias limitaciones de las arquitecturas existentes al aprender a razonar en escenarios novedosos.

English

Large Language Models (LLMs) have demonstrated impressive real-world utility, exemplifying artificial useful intelligence (AUI). However, their ability to reason adaptively and robustly -- the hallmarks of artificial general intelligence (AGI) -- remains fragile. While LLMs seemingly succeed in commonsense reasoning, programming, and mathematics, they struggle to generalize algorithmic understanding across novel contexts. Our experiments with algorithmic tasks in esoteric programming languages reveal that LLM's reasoning overfits to the training data and is limited in its transferability. We hypothesize that the core issue underlying such limited transferability is the coupling of reasoning and knowledge in LLMs. To transition from AUI to AGI, we propose disentangling knowledge and reasoning through three key directions: (1) pretaining to reason using RL from scratch as an alternative to the widely used next-token prediction pretraining, (2) using a curriculum of synthetic tasks to ease the learning of a reasoning prior for RL that can then be transferred to natural language tasks, and (3) learning more generalizable reasoning functions using a small context window to reduce exploiting spurious correlations between tokens. Such a reasoning system coupled with a trained retrieval system and a large external memory bank as a knowledge store can overcome several limitations of existing architectures at learning to reason in novel scenarios.