Aantoonbare Voordelen van In-Tool Leren voor Grote Taalmodellen

Provable Benefits of In-Tool Learning for Large Language Models

August 28, 2025

Auteurs: Sam Houliston, Ambroise Odonnat, Charles Arnal, Vivien Cabannes

cs.AI

Samenvatting

Taalmodellen versterkt met tools, uitgerust met retrieval, geheugen of externe API's, zijn bezig AI te hervormen, maar hun theoretische voordelen blijven onderbelicht. In dit artikel gaan we in op deze vraag door de voordelen aan te tonen van in-tool leren (externe retrieval) ten opzichte van in-gewicht leren (memorisatie) voor het terugroepen van feiten. We laten zien dat het aantal feiten dat een model uitsluitend in zijn gewichten kan onthouden, fundamenteel beperkt wordt door het aantal parameters. Daarentegen bewijzen we dat het gebruik van tools onbeperkt feiten terugroepen mogelijk maakt via een eenvoudige en efficiënte circuitconstructie. Deze resultaten worden gevalideerd in gecontroleerde experimenten, waarbij modellen die tools gebruiken consistent beter presteren dan modellen die feiten onthouden. We tonen verder aan dat voor vooraf getrainde grote taalmodellen het aanleren van toolgebruik en algemene regels effectiever is dan het finetunen van feiten in het geheugen. Ons werk biedt zowel een theoretische als empirische basis, en stelt vast waarom workflows versterkt met tools niet alleen praktisch zijn, maar ook bewezen meer schaalbaar.

English

Tool-augmented language models, equipped with retrieval, memory, or external APIs, are reshaping AI, yet their theoretical advantages remain underexplored. In this paper, we address this question by demonstrating the benefits of in-tool learning (external retrieval) over in-weight learning (memorization) for factual recall. We show that the number of facts a model can memorize solely in its weights is fundamentally limited by its parameter count. In contrast, we prove that tool-use enables unbounded factual recall via a simple and efficient circuit construction. These results are validated in controlled experiments, where tool-using models consistently outperform memorizing ones. We further show that for pretrained large language models, teaching tool-use and general rules is more effective than finetuning facts into memory. Our work provides both a theoretical and empirical foundation, establishing why tool-augmented workflows are not just practical, but provably more scalable.