Grokking en el mundo real: Aumento de datos para el razonamiento de múltiples saltos con Transformers en escenarios prácticos

Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers

April 29, 2025

Autores: Roman Abramov, Felix Steinbauer, Gjergji Kasneci

cs.AI

Resumen

Los Transformers han logrado un gran éxito en numerosas tareas de PLN, pero siguen mostrando brechas notables en el razonamiento factual de múltiples pasos, especialmente cuando el conocimiento del mundo real es escaso. Los avances recientes en grokking han demostrado que las redes neuronales pueden transitar de memorizar a generalizar perfectamente una vez que detectan patrones lógicos subyacentes; sin embargo, estos estudios han utilizado principalmente tareas sintéticas pequeñas. En este artículo, por primera vez, extendemos el grokking a datos factuales del mundo real y abordamos el desafío de la escasez de datos aumentando grafos de conocimiento existentes con datos sintéticos cuidadosamente diseñados para elevar la proporción phi_r de hechos inferidos sobre hechos atómicos por encima del umbral requerido para el grokking. Sorprendentemente, encontramos que incluso datos sintéticos factualmente incorrectos pueden fortalecer los circuitos de razonamiento emergentes en lugar de degradar la precisión, ya que obligan al modelo a depender de la estructura relacional en lugar de la memorización. Al evaluar en benchmarks de razonamiento multi-hop, nuestro enfoque alcanza hasta un 95-100% de precisión en 2WikiMultiHopQA, mejorando sustancialmente sobre líneas base sólidas y equiparando o superando los resultados actuales del estado del arte. Además, proporcionamos un análisis en profundidad de cómo el aumento de phi_r impulsa la formación de circuitos generalizadores dentro de los Transformers. Nuestros hallazgos sugieren que la ampliación de datos basada en grokking puede desbloquear capacidades implícitas de razonamiento multi-hop, abriendo la puerta a un razonamiento factual más robusto e interpretable en modelos de lenguaje a gran escala.

English

Transformers have achieved great success in numerous NLP tasks but continue to exhibit notable gaps in multi-step factual reasoning, especially when real-world knowledge is sparse. Recent advances in grokking have demonstrated that neural networks can transition from memorizing to perfectly generalizing once they detect underlying logical patterns - yet these studies have primarily used small, synthetic tasks. In this paper, for the first time, we extend grokking to real-world factual data and address the challenge of dataset sparsity by augmenting existing knowledge graphs with carefully designed synthetic data to raise the ratio phi_r of inferred facts to atomic facts above the threshold required for grokking. Surprisingly, we find that even factually incorrect synthetic data can strengthen emergent reasoning circuits rather than degrade accuracy, as it forces the model to rely on relational structure rather than memorization. When evaluated on multi-hop reasoning benchmarks, our approach achieves up to 95-100% accuracy on 2WikiMultiHopQA - substantially improving over strong baselines and matching or exceeding current state-of-the-art results. We further provide an in-depth analysis of how increasing phi_r drives the formation of generalizing circuits inside Transformers. Our findings suggest that grokking-based data augmentation can unlock implicit multi-hop reasoning capabilities, opening the door to more robust and interpretable factual reasoning in large-scale language models.