Grokking nel mondo reale: Aumento dei dati per il ragionamento multi-hop con i Transformer in contesti pratici

Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers

April 29, 2025

Autori: Roman Abramov, Felix Steinbauer, Gjergji Kasneci

cs.AI

Abstract

I Transformer hanno ottenuto un grande successo in numerosi compiti di NLP, ma continuano a mostrare lacune significative nel ragionamento fattuale multi-step, specialmente quando la conoscenza del mondo reale è scarsa. Recenti progressi nel grokking hanno dimostrato che le reti neurali possono passare dalla memorizzazione alla perfetta generalizzazione una volta rilevati i modelli logici sottostanti - tuttavia questi studi hanno utilizzato principalmente compiti sintetici e di piccole dimensioni. In questo articolo, per la prima volta, estendiamo il grokking a dati fattuali del mondo reale e affrontiamo la sfida della scarsità dei dataset arricchendo le knowledge graph esistenti con dati sintetici progettati con cura, al fine di aumentare il rapporto phi_r tra fatti inferiti e fatti atomici oltre la soglia necessaria per il grokking. Sorprendentemente, scopriamo che anche dati sintetici fattualmente errati possono rafforzare i circuiti di ragionamento emergenti anziché degradare l'accuratezza, poiché costringono il modello a fare affidamento sulla struttura relazionale piuttosto che sulla memorizzazione. Quando valutato su benchmark di ragionamento multi-hop, il nostro approccio raggiunge un'accuratezza del 95-100% su 2WikiMultiHopQA, migliorando sostanzialmente rispetto ai forti baseline e raggiungendo o superando i risultati attuali dello stato dell'arte. Forniamo inoltre un'analisi approfondita di come l'aumento di phi_r guidi la formazione di circuiti generalizzanti all'interno dei Transformer. I nostri risultati suggeriscono che l'arricchimento dei dati basato sul grokking può sbloccare capacità implicite di ragionamento multi-hop, aprendo la strada a un ragionamento fattuale più robusto e interpretabile nei modelli linguistici su larga scala.

English

Transformers have achieved great success in numerous NLP tasks but continue to exhibit notable gaps in multi-step factual reasoning, especially when real-world knowledge is sparse. Recent advances in grokking have demonstrated that neural networks can transition from memorizing to perfectly generalizing once they detect underlying logical patterns - yet these studies have primarily used small, synthetic tasks. In this paper, for the first time, we extend grokking to real-world factual data and address the challenge of dataset sparsity by augmenting existing knowledge graphs with carefully designed synthetic data to raise the ratio phi_r of inferred facts to atomic facts above the threshold required for grokking. Surprisingly, we find that even factually incorrect synthetic data can strengthen emergent reasoning circuits rather than degrade accuracy, as it forces the model to rely on relational structure rather than memorization. When evaluated on multi-hop reasoning benchmarks, our approach achieves up to 95-100% accuracy on 2WikiMultiHopQA - substantially improving over strong baselines and matching or exceeding current state-of-the-art results. We further provide an in-depth analysis of how increasing phi_r drives the formation of generalizing circuits inside Transformers. Our findings suggest that grokking-based data augmentation can unlock implicit multi-hop reasoning capabilities, opening the door to more robust and interpretable factual reasoning in large-scale language models.