Grokking no Mundo Real: Aumento de Dados para Raciocínio Multi-Hop em Cenários Práticos com Transformers

Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers

April 29, 2025

Autores: Roman Abramov, Felix Steinbauer, Gjergji Kasneci

cs.AI

Resumo

Os Transformers alcançaram grande sucesso em diversas tarefas de PLN, mas continuam a apresentar lacunas significativas no raciocínio factual de múltiplos passos, especialmente quando o conhecimento do mundo real é escasso. Avanços recentes em "grokking" demonstraram que redes neurais podem transicionar de memorizar para generalizar perfeitamente uma vez que detectam padrões lógicos subjacentes - no entanto, esses estudos têm utilizado principalmente tarefas sintéticas e de pequena escala. Neste artigo, pela primeira vez, estendemos o "grokking" para dados factuais do mundo real e abordamos o desafio da escassez de dados aumentando grafos de conhecimento existentes com dados sintéticos cuidadosamente projetados, a fim de elevar a razão phi_r de fatos inferidos para fatos atômicos acima do limiar necessário para o "grokking". Surpreendentemente, descobrimos que até mesmo dados sintéticos factualmente incorretos podem fortalecer circuitos de raciocínio emergentes em vez de degradar a precisão, pois forçam o modelo a depender da estrutura relacional em vez da memorização. Quando avaliada em benchmarks de raciocínio de múltiplos saltos, nossa abordagem alcança até 95-100% de precisão no 2WikiMultiHopQA - melhorando substancialmente em relação a baselines robustas e igualando ou superando os resultados atuais de ponta. Além disso, fornecemos uma análise detalhada de como o aumento de phi_r impulsiona a formação de circuitos generalizadores dentro dos Transformers. Nossas descobertas sugerem que a ampliação de dados baseada em "grokking" pode desbloquear capacidades implícitas de raciocínio de múltiplos saltos, abrindo caminho para um raciocínio factual mais robusto e interpretável em modelos de linguagem de grande escala.

English

Transformers have achieved great success in numerous NLP tasks but continue to exhibit notable gaps in multi-step factual reasoning, especially when real-world knowledge is sparse. Recent advances in grokking have demonstrated that neural networks can transition from memorizing to perfectly generalizing once they detect underlying logical patterns - yet these studies have primarily used small, synthetic tasks. In this paper, for the first time, we extend grokking to real-world factual data and address the challenge of dataset sparsity by augmenting existing knowledge graphs with carefully designed synthetic data to raise the ratio phi_r of inferred facts to atomic facts above the threshold required for grokking. Surprisingly, we find that even factually incorrect synthetic data can strengthen emergent reasoning circuits rather than degrade accuracy, as it forces the model to rely on relational structure rather than memorization. When evaluated on multi-hop reasoning benchmarks, our approach achieves up to 95-100% accuracy on 2WikiMultiHopQA - substantially improving over strong baselines and matching or exceeding current state-of-the-art results. We further provide an in-depth analysis of how increasing phi_r drives the formation of generalizing circuits inside Transformers. Our findings suggest that grokking-based data augmentation can unlock implicit multi-hop reasoning capabilities, opening the door to more robust and interpretable factual reasoning in large-scale language models.