Benefícios Comprováveis da Aprendizagem Integrada ao Ferramental para Modelos de Linguagem de Grande Escala

Provable Benefits of In-Tool Learning for Large Language Models

August 28, 2025

Autores: Sam Houliston, Ambroise Odonnat, Charles Arnal, Vivien Cabannes

cs.AI

Resumo

Modelos de linguagem aumentados por ferramentas, equipados com recuperação, memória ou APIs externas, estão remodelando a IA, mas suas vantagens teóricas permanecem pouco exploradas. Neste artigo, abordamos essa questão demonstrando os benefícios da aprendizagem em ferramentas (recuperação externa) sobre a aprendizagem em pesos (memorização) para a recordação de fatos. Mostramos que o número de fatos que um modelo pode memorizar apenas em seus pesos é fundamentalmente limitado pela quantidade de parâmetros. Em contraste, provamos que o uso de ferramentas permite uma recordação ilimitada de fatos por meio de uma construção de circuito simples e eficiente. Esses resultados são validados em experimentos controlados, onde modelos que utilizam ferramentas superam consistentemente os que dependem de memorização. Além disso, demonstramos que, para modelos de linguagem grandes pré-treinados, ensinar o uso de ferramentas e regras gerais é mais eficaz do que ajustar fatos na memória. Nosso trabalho fornece uma base teórica e empírica, estabelecendo por que fluxos de trabalho aumentados por ferramentas não são apenas práticos, mas comprovadamente mais escaláveis.

English

Tool-augmented language models, equipped with retrieval, memory, or external APIs, are reshaping AI, yet their theoretical advantages remain underexplored. In this paper, we address this question by demonstrating the benefits of in-tool learning (external retrieval) over in-weight learning (memorization) for factual recall. We show that the number of facts a model can memorize solely in its weights is fundamentally limited by its parameter count. In contrast, we prove that tool-use enables unbounded factual recall via a simple and efficient circuit construction. These results are validated in controlled experiments, where tool-using models consistently outperform memorizing ones. We further show that for pretrained large language models, teaching tool-use and general rules is more effective than finetuning facts into memory. Our work provides both a theoretical and empirical foundation, establishing why tool-augmented workflows are not just practical, but provably more scalable.