O Raciocínio Geral Requer Aprender a Raciocinar desde o Início

General Reasoning Requires Learning to Reason from the Get-go

February 26, 2025

Autores: Seungwook Han, Jyothish Pari, Samuel J. Gershman, Pulkit Agrawal

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) demonstraram utilidade impressionante no mundo real, exemplificando inteligência artificial útil (AUI). No entanto, sua capacidade de raciocinar de forma adaptativa e robusta — características fundamentais da inteligência artificial geral (AGI) — permanece frágil. Embora os LLMs aparentemente tenham sucesso em raciocínio de senso comum, programação e matemática, eles lutam para generalizar o entendimento algorítmico em contextos novos. Nossos experimentos com tarefas algorítmicas em linguagens de programação esotéricas revelam que o raciocínio dos LLMs superajusta-se aos dados de treinamento e é limitado em sua transferibilidade. Nossa hipótese é que o problema central subjacente a essa transferibilidade limitada é o acoplamento entre raciocínio e conhecimento nos LLMs. Para transitar de AUI para AGI, propomos desacoplar conhecimento e raciocínio por meio de três direções principais: (1) pré-treinamento para raciocinar usando aprendizado por reforço (RL) do zero, como alternativa ao pré-treinamento amplamente utilizado de previsão do próximo token, (2) uso de um currículo de tarefas sintéticas para facilitar o aprendizado de um prior de raciocínio para RL, que pode então ser transferido para tarefas de linguagem natural, e (3) aprendizado de funções de raciocínio mais generalizáveis usando uma janela de contexto pequena para reduzir a exploração de correlações espúrias entre tokens. Um sistema de raciocínio desse tipo, acoplado a um sistema de recuperação treinado e um grande banco de memória externa como armazenamento de conhecimento, pode superar várias limitações das arquiteturas existentes ao aprender a raciocinar em cenários novos.

English

Large Language Models (LLMs) have demonstrated impressive real-world utility, exemplifying artificial useful intelligence (AUI). However, their ability to reason adaptively and robustly -- the hallmarks of artificial general intelligence (AGI) -- remains fragile. While LLMs seemingly succeed in commonsense reasoning, programming, and mathematics, they struggle to generalize algorithmic understanding across novel contexts. Our experiments with algorithmic tasks in esoteric programming languages reveal that LLM's reasoning overfits to the training data and is limited in its transferability. We hypothesize that the core issue underlying such limited transferability is the coupling of reasoning and knowledge in LLMs. To transition from AUI to AGI, we propose disentangling knowledge and reasoning through three key directions: (1) pretaining to reason using RL from scratch as an alternative to the widely used next-token prediction pretraining, (2) using a curriculum of synthetic tasks to ease the learning of a reasoning prior for RL that can then be transferred to natural language tasks, and (3) learning more generalizable reasoning functions using a small context window to reduce exploiting spurious correlations between tokens. Such a reasoning system coupled with a trained retrieval system and a large external memory bank as a knowledge store can overcome several limitations of existing architectures at learning to reason in novel scenarios.