Il ragionamento generale richiede l'apprendimento del ragionamento fin dall'inizio.

General Reasoning Requires Learning to Reason from the Get-go

February 26, 2025

Autori: Seungwook Han, Jyothish Pari, Samuel J. Gershman, Pulkit Agrawal

cs.AI

Abstract

I Large Language Model (LLM) hanno dimostrato un'utilità impressionante nel mondo reale, incarnando quella che potremmo definire intelligenza artificiale utile (AUI, Artificial Useful Intelligence). Tuttavia, la loro capacità di ragionare in modo adattivo e robusto – caratteristiche distintive dell'intelligenza artificiale generale (AGI, Artificial General Intelligence) – rimane fragile. Sebbene i LLM sembrino avere successo nel ragionamento di senso comune, nella programmazione e nella matematica, faticano a generalizzare la comprensione algoritmica in contesti nuovi. I nostri esperimenti con compiti algoritmici in linguaggi di programmazione esoterici rivelano che il ragionamento dei LLM è eccessivamente adattato ai dati di addestramento e ha una limitata trasferibilità. Ipotesizziamo che il problema alla base di questa limitata trasferibilità sia l'accoppiamento tra ragionamento e conoscenza nei LLM. Per passare dall'AUI all'AGI, proponiamo di separare conoscenza e ragionamento attraverso tre direzioni chiave: (1) pre-addestrare il ragionamento utilizzando il reinforcement learning (RL) da zero, come alternativa al pre-addestramento basato sulla previsione del token successivo ampiamente utilizzato, (2) utilizzare un curriculum di compiti sintetici per facilitare l'apprendimento di un "prior" di ragionamento per il RL, che possa poi essere trasferito a compiti in linguaggio naturale, e (3) apprendere funzioni di ragionamento più generalizzabili utilizzando una finestra contestuale ridotta per limitare lo sfruttamento di correlazioni spurie tra token. Un sistema di ragionamento di questo tipo, accoppiato a un sistema di recupero addestrato e a un ampio archivio di memoria esterna come deposito di conoscenza, potrebbe superare diverse limitazioni delle architetture esistenti nell'apprendimento del ragionamento in scenari nuovi.

English

Large Language Models (LLMs) have demonstrated impressive real-world utility, exemplifying artificial useful intelligence (AUI). However, their ability to reason adaptively and robustly -- the hallmarks of artificial general intelligence (AGI) -- remains fragile. While LLMs seemingly succeed in commonsense reasoning, programming, and mathematics, they struggle to generalize algorithmic understanding across novel contexts. Our experiments with algorithmic tasks in esoteric programming languages reveal that LLM's reasoning overfits to the training data and is limited in its transferability. We hypothesize that the core issue underlying such limited transferability is the coupling of reasoning and knowledge in LLMs. To transition from AUI to AGI, we propose disentangling knowledge and reasoning through three key directions: (1) pretaining to reason using RL from scratch as an alternative to the widely used next-token prediction pretraining, (2) using a curriculum of synthetic tasks to ease the learning of a reasoning prior for RL that can then be transferred to natural language tasks, and (3) learning more generalizable reasoning functions using a small context window to reduce exploiting spurious correlations between tokens. Such a reasoning system coupled with a trained retrieval system and a large external memory bank as a knowledge store can overcome several limitations of existing architectures at learning to reason in novel scenarios.