Le raisonnement général nécessite d'apprendre à raisonner dès le départ.

General Reasoning Requires Learning to Reason from the Get-go

February 26, 2025

Auteurs: Seungwook Han, Jyothish Pari, Samuel J. Gershman, Pulkit Agrawal

cs.AI

Résumé

Les modèles de langage à grande échelle (LLMs) ont démontré une utilité impressionnante dans le monde réel, incarnant ce qu'on pourrait appeler une intelligence artificielle utile (AUI). Cependant, leur capacité à raisonner de manière adaptative et robuste — les caractéristiques essentielles de l'intelligence artificielle générale (AGI) — reste fragile. Bien que les LLMs semblent réussir dans le raisonnement de bon sens, la programmation et les mathématiques, ils peinent à généraliser la compréhension algorithmique à des contextes nouveaux. Nos expériences avec des tâches algorithmiques dans des langages de programmation ésotériques révèlent que le raisonnement des LLMs est surajusté aux données d'entraînement et présente une transférabilité limitée. Nous émettons l'hypothèse que le problème fondamental sous-jacent à cette transférabilité limitée est le couplage entre raisonnement et connaissance dans les LLMs. Pour passer de l'AUI à l'AGI, nous proposons de dissocier la connaissance et le raisonnement selon trois axes principaux : (1) pré-entraîner à raisonner en utilisant l'apprentissage par renforcement (RL) à partir de zéro, comme alternative à la prédiction de token suivant largement utilisée dans le pré-entraînement, (2) utiliser un curriculum de tâches synthétiques pour faciliter l'apprentissage d'un a priori de raisonnement pour le RL, qui peut ensuite être transféré à des tâches en langage naturel, et (3) apprendre des fonctions de raisonnement plus généralisables en utilisant une petite fenêtre contextuelle pour réduire l'exploitation de corrélations fallacieuses entre les tokens. Un tel système de raisonnement, couplé à un système de récupération entraîné et à une grande banque de mémoire externe comme stockage de connaissances, pourrait surmonter plusieurs limitations des architectures existantes dans l'apprentissage du raisonnement dans des scénarios nouveaux.

English

Large Language Models (LLMs) have demonstrated impressive real-world utility, exemplifying artificial useful intelligence (AUI). However, their ability to reason adaptively and robustly -- the hallmarks of artificial general intelligence (AGI) -- remains fragile. While LLMs seemingly succeed in commonsense reasoning, programming, and mathematics, they struggle to generalize algorithmic understanding across novel contexts. Our experiments with algorithmic tasks in esoteric programming languages reveal that LLM's reasoning overfits to the training data and is limited in its transferability. We hypothesize that the core issue underlying such limited transferability is the coupling of reasoning and knowledge in LLMs. To transition from AUI to AGI, we propose disentangling knowledge and reasoning through three key directions: (1) pretaining to reason using RL from scratch as an alternative to the widely used next-token prediction pretraining, (2) using a curriculum of synthetic tasks to ease the learning of a reasoning prior for RL that can then be transferred to natural language tasks, and (3) learning more generalizable reasoning functions using a small context window to reduce exploiting spurious correlations between tokens. Such a reasoning system coupled with a trained retrieval system and a large external memory bank as a knowledge store can overcome several limitations of existing architectures at learning to reason in novel scenarios.