Una storia di LLM e piccoli proxy indotti: agenti scalabili per l'estrazione di conoscenza

A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining

October 1, 2025

Autori: Sipeng Zhang, Longfei Yun, Zilong Wang, Jingbo Shang, Letian Peng

cs.AI

Abstract

Al centro di Deep Research c'è il knowledge mining, il compito di estrarre informazioni strutturate da enormi quantità di testo non strutturato in risposta alle istruzioni dell'utente. I grandi modelli linguistici (LLM) eccellono nell'interpretare tali istruzioni, ma sono proibitivamente costosi da implementare su larga scala, mentre le pipeline tradizionali di classificatori ed estrattori rimangono efficienti ma fragili e incapaci di generalizzare a nuovi compiti. Introduciamo Falconer, un framework collaborativo che combina il ragionamento agentico degli LLM con modelli proxy leggeri per il knowledge mining scalabile. In Falconer, gli LLM agiscono come pianificatori, scomponendo le istruzioni dell'utente in pipeline eseguibili, e come annotatori, generando supervisione per addestrare piccoli proxy. Il framework unifica classificazione ed estrazione in due operazioni atomiche, get label e get span, consentendo a un singolo modello di seguire le istruzioni di sostituire più componenti specifici per ogni task. Per valutare la coerenza tra i modelli proxy incubati da Falconer e le annotazioni fornite da esseri umani e grandi modelli, costruiamo nuovi benchmark che coprono sia la pianificazione che l'esecuzione end-to-end. Gli esperimenti dimostrano che Falconer si avvicina molto all'accuratezza degli LLM all'avanguardia nel seguire le istruzioni, riducendo i costi di inferenza fino al 90% e accelerando il knowledge mining su larga scala di oltre 20 volte, offrendo una base efficiente e scalabile per Deep Research.

English

At the core of Deep Research is knowledge mining, the task of extracting structured information from massive unstructured text in response to user instructions. Large language models (LLMs) excel at interpreting such instructions but are prohibitively expensive to deploy at scale, while traditional pipelines of classifiers and extractors remain efficient yet brittle and unable to generalize to new tasks. We introduce Falconer, a collaborative framework that combines the agentic reasoning of LLMs with lightweight proxy models for scalable knowledge mining. In Falconer, LLMs act as planners, decomposing user instructions into executable pipelines, and as annotators, generating supervision to train small proxies. The framework unifies classification and extraction into two atomic operations, get label and get span, enabling a single instruction-following model to replace multiple task-specific components. To evaluate the consistency between proxy models incubated by Falconer and annotations provided by humans and large models, we construct new benchmarks covering both planning and end-to-end execution. Experiments show that Falconer closely matches state-of-the-art LLMs in instruction-following accuracy while reducing inference cost by up to 90% and accelerating large-scale knowledge mining by more than 20x, offering an efficient and scalable foundation for Deep Research.