대규모 언어 모델을 위한 도구 내 학습의 검증 가능한 이점

초록

검색, 메모리 또는 외부 API를 갖춘 도구 강화 언어 모델은 AI를 재편하고 있지만, 그 이론적 장점은 아직 충분히 탐구되지 않았습니다. 본 논문에서는 사실 회상을 위해 내부 가중치 학습(기억)보다 도구 내 학습(외부 검색)이 가지는 이점을 입증함으로써 이 문제를 다룹니다. 모델이 가중치만으로 기억할 수 있는 사실의 수는 기본적으로 매개변수 수에 의해 제한됨을 보입니다. 반면, 도구 사용을 통해 단순하고 효율적인 회로 구성을 통해 사실 회상이 무한히 가능함을 증명합니다. 이러한 결과는 통제된 실험에서 검증되었으며, 도구를 사용하는 모델이 기억에 의존하는 모델을 지속적으로 능가함을 보여줍니다. 또한, 사전 학습된 대형 언어 모델의 경우 사실을 미세 조정하여 기억시키는 것보다 도구 사용과 일반 규칙을 가르치는 것이 더 효과적임을 추가로 입증합니다. 본 연구는 도구 강화 워크플로가 단순히 실용적일 뿐만 아니라 이론적으로도 확장성이 더 높음을 입증함으로써 이론적 및 실증적 기반을 제공합니다.

English

Tool-augmented language models, equipped with retrieval, memory, or external APIs, are reshaping AI, yet their theoretical advantages remain underexplored. In this paper, we address this question by demonstrating the benefits of in-tool learning (external retrieval) over in-weight learning (memorization) for factual recall. We show that the number of facts a model can memorize solely in its weights is fundamentally limited by its parameter count. In contrast, we prove that tool-use enables unbounded factual recall via a simple and efficient circuit construction. These results are validated in controlled experiments, where tool-using models consistently outperform memorizing ones. We further show that for pretrained large language models, teaching tool-use and general rules is more effective than finetuning facts into memory. Our work provides both a theoretical and empirical foundation, establishing why tool-augmented workflows are not just practical, but provably more scalable.

대규모 언어 모델을 위한 도구 내 학습의 검증 가능한 이점

Provable Benefits of In-Tool Learning for Large Language Models

초록

Support