Allgemeines Denkvermögen erfordert das Lernen des Denkens von Anfang an.

General Reasoning Requires Learning to Reason from the Get-go

February 26, 2025

Autoren: Seungwook Han, Jyothish Pari, Samuel J. Gershman, Pulkit Agrawal

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende praktische Nützlichkeit bewiesen und verkörpern damit künstliche nützliche Intelligenz (AUI). Ihre Fähigkeit, adaptiv und robust zu schlussfolgern – die Kennzeichen künstlicher allgemeiner Intelligenz (AGI) – bleibt jedoch fragil. Obwohl LLMs scheinbar Erfolge im gesunden Menschenverstand, in der Programmierung und in der Mathematik zeigen, haben sie Schwierigkeiten, algorithmisches Verständnis über neue Kontexte hinweg zu verallgemeinern. Unsere Experimente mit algorithmischen Aufgaben in esoterischen Programmiersprachen offenbaren, dass das Schlussfolgern der LLMs zu stark an die Trainingsdaten angepasst ist und in seiner Übertragbarkeit begrenzt ist. Wir vermuten, dass das Kernproblem hinter dieser begrenzten Übertragbarkeit die Kopplung von Schlussfolgern und Wissen in LLMs ist. Um den Übergang von AUI zu AGI zu schaffen, schlagen wir vor, Wissen und Schlussfolgern durch drei zentrale Ansätze zu entkoppeln: (1) Vorabtraining zum Schlussfolgern mittels Reinforcement Learning (RL) von Grund auf als Alternative zum weit verbreiteten Vorabtraining durch nächste-Token-Vorhersage, (2) die Verwendung eines Lehrplans synthetischer Aufgaben, um das Erlernen eines Schlussfolgerungs-Priors für RL zu erleichtern, der dann auf natürliche Sprachaufgaben übertragen werden kann, und (3) das Erlernen generalisierbarerer Schlussfolgerungsfunktionen durch ein kleines Kontextfenster, um die Ausnutzung zufälliger Korrelationen zwischen Tokens zu reduzieren. Ein solches Schlussfolgerungssystem, gekoppelt mit einem trainierten Retrieval-System und einem großen externen Speicher als Wissensspeicher, kann mehrere Einschränkungen bestehender Architekturen überwinden, um das Schlussfolgern in neuen Szenarien zu erlernen.

English

Large Language Models (LLMs) have demonstrated impressive real-world utility, exemplifying artificial useful intelligence (AUI). However, their ability to reason adaptively and robustly -- the hallmarks of artificial general intelligence (AGI) -- remains fragile. While LLMs seemingly succeed in commonsense reasoning, programming, and mathematics, they struggle to generalize algorithmic understanding across novel contexts. Our experiments with algorithmic tasks in esoteric programming languages reveal that LLM's reasoning overfits to the training data and is limited in its transferability. We hypothesize that the core issue underlying such limited transferability is the coupling of reasoning and knowledge in LLMs. To transition from AUI to AGI, we propose disentangling knowledge and reasoning through three key directions: (1) pretaining to reason using RL from scratch as an alternative to the widely used next-token prediction pretraining, (2) using a curriculum of synthetic tasks to ease the learning of a reasoning prior for RL that can then be transferred to natural language tasks, and (3) learning more generalizable reasoning functions using a small context window to reduce exploiting spurious correlations between tokens. Such a reasoning system coupled with a trained retrieval system and a large external memory bank as a knowledge store can overcome several limitations of existing architectures at learning to reason in novel scenarios.