Een verhaal over LLM's en geïnduceerde kleine proxies: schaalbare agents voor kennisontginning

A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining

October 1, 2025

Auteurs: Sipeng Zhang, Longfei Yun, Zilong Wang, Jingbo Shang, Letian Peng

cs.AI

Samenvatting

De kern van Deep Research is kennisontginning, de taak om gestructureerde informatie te extraheren uit enorme hoeveelheden ongestructureerde tekst in reactie op gebruikersinstructies. Grote taalmodelen (LLM's) blinken uit in het interpreteren van dergelijke instructies, maar zijn onbetaalbaar om op grote schaal in te zetten, terwijl traditionele pijplijnen van classificatoren en extractoren weliswaar efficiënt blijven, maar broos zijn en niet kunnen generaliseren naar nieuwe taken. Wij introduceren Falconer, een collaboratief raamwerk dat het agentieve redeneren van LLM's combineert met lichtgewicht proxy-modellen voor schaalbare kennisontginning. In Falconer fungeren LLM's als planners die gebruikersinstructies opsplitsen in uitvoerbare pijplijnen, en als annotators die supervisie genereren om kleine proxy's te trainen. Het raamwerk verenigt classificatie en extractie in twee atomische operaties, get label en get span, waardoor een enkel instructievolgend model meerdere taakspecifieke componenten kan vervangen. Om de consistentie te evalueren tussen proxy-modellen die door Falconer zijn ontwikkeld en annotaties die door mensen en grote modellen zijn geleverd, construeren we nieuwe benchmarks die zowel planning als end-to-end uitvoering omvatten. Experimenten tonen aan dat Falconer nauw aansluit bij state-of-the-art LLM's in nauwkeurigheid van instructievolging, terwijl de inferentiekosten met tot wel 90% worden verlaagd en grootschalige kennisontginning met meer dan 20x wordt versneld, wat een efficiënte en schaalbare basis biedt voor Deep Research.

English

At the core of Deep Research is knowledge mining, the task of extracting structured information from massive unstructured text in response to user instructions. Large language models (LLMs) excel at interpreting such instructions but are prohibitively expensive to deploy at scale, while traditional pipelines of classifiers and extractors remain efficient yet brittle and unable to generalize to new tasks. We introduce Falconer, a collaborative framework that combines the agentic reasoning of LLMs with lightweight proxy models for scalable knowledge mining. In Falconer, LLMs act as planners, decomposing user instructions into executable pipelines, and as annotators, generating supervision to train small proxies. The framework unifies classification and extraction into two atomic operations, get label and get span, enabling a single instruction-following model to replace multiple task-specific components. To evaluate the consistency between proxy models incubated by Falconer and annotations provided by humans and large models, we construct new benchmarks covering both planning and end-to-end execution. Experiments show that Falconer closely matches state-of-the-art LLMs in instruction-following accuracy while reducing inference cost by up to 90% and accelerating large-scale knowledge mining by more than 20x, offering an efficient and scalable foundation for Deep Research.