Algemeen redeneren vereist vanaf het begin leren redeneren.

General Reasoning Requires Learning to Reason from the Get-go

February 26, 2025

Auteurs: Seungwook Han, Jyothish Pari, Samuel J. Gershman, Pulkit Agrawal

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben indrukwekkende praktische nuttigheid getoond en illustreren kunstmatige nuttige intelligentie (AUI). Hun vermogen om adaptief en robuust te redeneren – de kenmerken van kunstmatige algemene intelligentie (AGI) – blijft echter kwetsbaar. Hoewel LLM's ogenschijnlijk succesvol zijn in gezond verstand, programmeren en wiskunde, hebben ze moeite om algoritmisch begrip te generaliseren naar nieuwe contexten. Onze experimenten met algoritmische taken in esoterische programmeertalen laten zien dat het redeneren van LLM's overfit is aan de trainingsdata en beperkt overdraagbaar is. We veronderstellen dat de kern van dit beperkte overdraagbaarheidsprobleem ligt in de koppeling van redeneren en kennis in LLM's. Om de overgang van AUI naar AGI te maken, stellen we voor om kennis en redeneren te ontkoppelen via drie belangrijke richtingen: (1) vooraf trainen om te redeneren met reinforcement learning (RL) vanaf nul als alternatief voor de veelgebruikte voorafgaande training op basis van volgende-tokenvoorspelling, (2) een curriculum van synthetische taken gebruiken om het leren van een redeneerprior voor RL te vergemakkelijken, die vervolgens kan worden overgedragen naar natuurlijke taaltaken, en (3) meer generaliseerbare redeneerfuncties leren met een kleine contextvenster om het uitbuiten van valse correlaties tussen tokens te verminderen. Zo’n redeneersysteem, gekoppeld aan een getraind ophaalsysteem en een grote externe geheugenbank als kennisopslag, kan verschillende beperkingen van bestaande architecturen overwinnen bij het leren redeneren in nieuwe scenario’s.

English

Large Language Models (LLMs) have demonstrated impressive real-world utility, exemplifying artificial useful intelligence (AUI). However, their ability to reason adaptively and robustly -- the hallmarks of artificial general intelligence (AGI) -- remains fragile. While LLMs seemingly succeed in commonsense reasoning, programming, and mathematics, they struggle to generalize algorithmic understanding across novel contexts. Our experiments with algorithmic tasks in esoteric programming languages reveal that LLM's reasoning overfits to the training data and is limited in its transferability. We hypothesize that the core issue underlying such limited transferability is the coupling of reasoning and knowledge in LLMs. To transition from AUI to AGI, we propose disentangling knowledge and reasoning through three key directions: (1) pretaining to reason using RL from scratch as an alternative to the widely used next-token prediction pretraining, (2) using a curriculum of synthetic tasks to ease the learning of a reasoning prior for RL that can then be transferred to natural language tasks, and (3) learning more generalizable reasoning functions using a small context window to reduce exploiting spurious correlations between tokens. Such a reasoning system coupled with a trained retrieval system and a large external memory bank as a knowledge store can overcome several limitations of existing architectures at learning to reason in novel scenarios.