Eine Geschichte von LLMs und induzierten kleinen Proxys: Skalierbare Agenten für die Wissensgewinnung

A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining

October 1, 2025

papers.authors: Sipeng Zhang, Longfei Yun, Zilong Wang, Jingbo Shang, Letian Peng

cs.AI

papers.abstract

Im Kern von Deep Research steht das Wissensmining, die Aufgabe, strukturierte Informationen aus massiven unstrukturierten Texten als Reaktion auf Benutzeranweisungen zu extrahieren. Große Sprachmodelle (LLMs) sind hervorragend darin, solche Anweisungen zu interpretieren, aber ihr Einsatz in großem Maßstab ist prohibitv teuer, während traditionelle Pipelines aus Klassifikatoren und Extraktoren zwar effizient, aber spröde bleiben und sich nicht auf neue Aufgaben verallgemeinern lassen. Wir stellen Falconer vor, ein kollaboratives Framework, das das agentenbasierte Denken von LLMs mit leichten Proxy-Modellen für skalierbares Wissensmining kombiniert. In Falconer fungieren LLMs als Planer, die Benutzeranweisungen in ausführbare Pipelines zerlegen, und als Annotatoren, die Aufsichtsdaten zur Schulung kleiner Proxies generieren. Das Framework vereint Klassifikation und Extraktion in zwei atomare Operationen, get label und get span, wodurch ein einziges anweisungsfolgendes Modell mehrere aufgabenspezifische Komponenten ersetzen kann. Um die Konsistenz zwischen den von Falconer inkubierten Proxy-Modellen und den von Menschen und großen Modellen bereitgestellten Annotationen zu bewerten, erstellen wir neue Benchmarks, die sowohl die Planung als auch die end-to-end-Ausführung abdecken. Experimente zeigen, dass Falconer in der Genauigkeit der Anweisungsbefolgung mit den modernsten LLMs vergleichbar ist, während die Inferenzkosten um bis zu 90 % reduziert und das groß angelegte Wissensmining um mehr als das 20-fache beschleunigt werden, was eine effiziente und skalierbare Grundlage für Deep Research bietet.

English

At the core of Deep Research is knowledge mining, the task of extracting structured information from massive unstructured text in response to user instructions. Large language models (LLMs) excel at interpreting such instructions but are prohibitively expensive to deploy at scale, while traditional pipelines of classifiers and extractors remain efficient yet brittle and unable to generalize to new tasks. We introduce Falconer, a collaborative framework that combines the agentic reasoning of LLMs with lightweight proxy models for scalable knowledge mining. In Falconer, LLMs act as planners, decomposing user instructions into executable pipelines, and as annotators, generating supervision to train small proxies. The framework unifies classification and extraction into two atomic operations, get label and get span, enabling a single instruction-following model to replace multiple task-specific components. To evaluate the consistency between proxy models incubated by Falconer and annotations provided by humans and large models, we construct new benchmarks covering both planning and end-to-end execution. Experiments show that Falconer closely matches state-of-the-art LLMs in instruction-following accuracy while reducing inference cost by up to 90% and accelerating large-scale knowledge mining by more than 20x, offering an efficient and scalable foundation for Deep Research.