Как LLM-модели приобретают новые знания? Перспектива циркуляции знаний о постоянном предварительном обучении.

How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training

February 16, 2025

Авторы: Yixin Ou, Yunzhi Yao, Ningyu Zhang, Hui Jin, Jiacheng Sun, Shumin Deng, Zhenguo Li, Huajun Chen

cs.AI

Аннотация

Несмотря на исключительные возможности в задачах, требующих большого объема знаний, большие языковые модели (Large Language Models, LLM) сталкиваются с критическим разрывом в понимании того, как они усваивают новые знания, особенно как структурно внедрить усвоенные знания в свои нейронные вычисления. Мы решаем эту проблему через призму эволюции знаниевых цепей, выявляя вычислительные подграфы, которые облегчают хранение и обработку знаний. Наша систематическая аналитика эволюции цепей на протяжении непрерывного предварительного обучения выявляет несколько ключевых результатов: (1) усвоение новых знаний влияет на их значимость для предварительно существующих знаний; (2) эволюция знаниевых цепей проявляет отчетливый сдвиг фазы от формирования к оптимизации; (3) эволюция знаниевых цепей следует глубокому-к поверхностному шаблону. Эти исследования не только продвигают наше теоретическое понимание механизмов усвоения новых знаний в LLM, но также предоставляют потенциальные выводы для улучшения стратегий непрерывного предварительного обучения для повышения производительности модели. Код и данные будут доступны на https://github.com/zjunlp/DynamicKnowledgeCircuits.

English

Despite exceptional capabilities in knowledge-intensive tasks, Large Language Models (LLMs) face a critical gap in understanding how they internalize new knowledge, particularly how to structurally embed acquired knowledge in their neural computations. We address this issue through the lens of knowledge circuit evolution, identifying computational subgraphs that facilitate knowledge storage and processing. Our systematic analysis of circuit evolution throughout continual pre-training reveals several key findings: (1) the acquisition of new knowledge is influenced by its relevance to pre-existing knowledge; (2) the evolution of knowledge circuits exhibits a distinct phase shift from formation to optimization; (3) the evolution of knowledge circuits follows a deep-to-shallow pattern. These insights not only advance our theoretical understanding of the mechanisms of new knowledge acquisition in LLMs, but also provide potential implications for improving continual pre-training strategies to enhance model performance. Code and data will be available at https://github.com/zjunlp/DynamicKnowledgeCircuits.