Грокинг в реальных условиях: аугментация данных для многошагового рассуждения в реальном мире с использованием трансформеров

Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers

April 29, 2025

Авторы: Roman Abramov, Felix Steinbauer, Gjergji Kasneci

cs.AI

Аннотация

Трансформеры достигли значительных успехов в многочисленных задачах обработки естественного языка (NLP), но продолжают демонстрировать заметные пробелы в многошаговом фактологическом рассуждении, особенно в условиях недостатка реальных знаний. Недавние достижения в области "grokking" (интуитивного понимания) показали, что нейронные сети могут переходить от запоминания к идеальному обобщению, как только обнаруживают лежащие в основе логические закономерности, — однако эти исследования в основном использовали небольшие синтетические задачи. В данной работе мы впервые расширяем grokking на реальные фактологические данные и решаем проблему разреженности наборов данных, дополняя существующие графы знаний тщательно разработанными синтетическими данными, чтобы повысить отношение phi_r выводимых фактов к атомарным фактам выше порога, необходимого для grokking. Удивительно, но мы обнаруживаем, что даже фактологически некорректные синтетические данные могут укреплять возникающие схемы рассуждений, а не снижать точность, поскольку они заставляют модель полагаться на реляционную структуру, а не на запоминание. При оценке на бенчмарках многошагового рассуждения наш подход достигает точности до 95-100% на 2WikiMultiHopQA, значительно превосходя сильные базовые модели и соответствуя или превышая текущие результаты state-of-the-art. Мы также проводим детальный анализ того, как увеличение phi_r способствует формированию обобщающих схем внутри трансформеров. Наши результаты показывают, что дополнение данных на основе grokking может раскрыть скрытые возможности многошагового рассуждения, открывая путь к более надежному и интерпретируемому фактологическому рассуждению в крупномасштабных языковых моделях.

English

Transformers have achieved great success in numerous NLP tasks but continue to exhibit notable gaps in multi-step factual reasoning, especially when real-world knowledge is sparse. Recent advances in grokking have demonstrated that neural networks can transition from memorizing to perfectly generalizing once they detect underlying logical patterns - yet these studies have primarily used small, synthetic tasks. In this paper, for the first time, we extend grokking to real-world factual data and address the challenge of dataset sparsity by augmenting existing knowledge graphs with carefully designed synthetic data to raise the ratio phi_r of inferred facts to atomic facts above the threshold required for grokking. Surprisingly, we find that even factually incorrect synthetic data can strengthen emergent reasoning circuits rather than degrade accuracy, as it forces the model to rely on relational structure rather than memorization. When evaluated on multi-hop reasoning benchmarks, our approach achieves up to 95-100% accuracy on 2WikiMultiHopQA - substantially improving over strong baselines and matching or exceeding current state-of-the-art results. We further provide an in-depth analysis of how increasing phi_r drives the formation of generalizing circuits inside Transformers. Our findings suggest that grokking-based data augmentation can unlock implicit multi-hop reasoning capabilities, opening the door to more robust and interpretable factual reasoning in large-scale language models.